Transcript: Natural Language Processing mit spaCy

Hallo liebe Hörerinnen und Hörer, willkommen im Python-Podcast. Heute in einer Jubiläumsepisode und zwar Episode Nummer 30.

Natürlich sind wir wieder mit dem Jochen da und ich bin der Dominik.

Hallo Dominik.

Und heute haben wir auch einen besonderen Gast und das ist die Ines.

Ja, hallo Ines.

Ja, wollen wir die Ines mal vorstellen, Jochen?

Ja, normalerweise, genau, sagen wir Leuten immer, sie sollen sich selber vorstellen, aber ja, vielleicht ist es ja auch gar nicht so schlecht, wenn wir das machen.

Ich habe irgendwo gelesen, dass es besser ankommt, wenn man von jemand anders vorgestellt wird.

Das kommt wahrscheinlich auch drauf an, von wem man vorgestellt wird. Das tut mir jetzt sehr leid, dass ich das wünsche.

Ines ist Explosion, also wer ist Ines?

Genau, also wir kamen drauf, weil ich von einem Hörer eine Mail bekommen habe, der sich dafür interessierte, irgendwie ein bisschen mehr über Machine Learning, Natural Language Processing bzw. halt SPACE zu hören.

und da dachte ich so, oh ja,

das stimmt, das wollte

ich doch auch selber schon immer mal gerne

machen und habe dann halt irgendeine Mail

an Ines geschrieben. Ines, du hast was mit

Spacey zu tun? Und genau,

ja.

Ines Nick.

Wir bei Explosion,

wir entwickeln Spacey,

eine Open Source Bibliothek für

Natural Language Processing in Python

und daran arbeiten wir,

daran arbeite ich seit

ein paar Jahren und

und ja, damit verbringe ich auch einen Großteil meiner Zeit und wir entwickeln auch andere Produkte und Tools hauptsächlich für Softwareentwickler, die mit Machine Learning und vor allem auch mit NLP arbeiten. Also quasi, ja, wir entwickeln Software für Softwareentwickler, um quasi den Alltag ein bisschen schöner und produktiver zu gestalten.

Das hört sich spannend an. Ich würde vielleicht vorstellen, dass wir so ein bisschen mit einer Einleitung anfangen für Menschen, die uns noch nicht so folgen können, weil die vielleicht im Thema noch nicht ganz so tief drin sind. Vielleicht nochmal so ganz kurz die Begrifflichkeiten klären, was ist denn jetzt überhaupt so das NLP und was macht man damit und was für Features würde man denn sowas wie Spacey machen wollen und sowas vielleicht?

Du möchtest zum Beispiel wissen, wer macht was, wer ist das Subjekt, wer ist das Objekt, was für Personen kommen vor, was für Firmen, was für Kon Kon Kon Kon Kon Kon Kon Kon Kon Kon

und Jochen unterhalten sich über die Programmiersprache Python

und Python.

und Jochen unterhalten sich über die Programmiersprache Python

und wo auch tatsächlich diese

Technologie auch wirklich

zum Einsatz kommt

in verschiedenen

Anwendungsbereichen, Firmen,

alles mögliche.

Ja,

ich

habe da auch relativ

viel schon, was Textkategorisierungen

angeht und so, gemacht

und zu der Zeit, das ist halt auch schon lange her,

aber da waren halt so lineare

Modelle das Mittel der Wahl irgendwie.

Das war so...

Das ist so eine...

Es gibt viele

Problematiken, wo wir nach wie vor

Leuten empfehlen würden,

so eine super Oldschool-Methode

linear klappt immer noch besser.

Schneller kannst du

auch teilweise heutzutage,

selbst mit den hottesten

Modellen teilweise nicht überbieten.

Aber es gibt natürlich andere Bereiche, wo wir sagen,

okay, gut,

da braucht man einfach ein bisschen mehr.

Und ja.

Ja.

Ja genau, also ich meine, da hat sich natürlich, also so ein lineares Modell ist natürlich relativ einfach und inzwischen gibt es ja da irgendwie so, was halt Neuronalen Netze angeht, Deep Learning, irgendwie hat sich ja einiges getan, so im letzten Jahrzehnt so ein bisschen.

und

ja, das ist

natürlich auch schön, dass man da jetzt

irgendwie in dem Bereich

nochmal deutlich mehr rausholen kann

und was ich daran ja auch total faszinierend

finde, das ist jetzt auch eine relativ aktuelle Entwicklung

mit diesen ganzen

Transformer-Geschichten,

dass man da tatsächlich

irgendwie aus

ja, quasi

Text oder ungelabelten Daten

halt irgendwie was lernen kann

und dann weniger gelabelte Daten braucht,

weil gelabelte Daten sind natürlich immer relativ schwer zu bekommen.

Ja, und ich glaube, es löst auch ein viel tiefer liegendes Problem,

was wir halt schon immer hatten,

und zwar, dass Sprache ja wirklich auch nur im Kontext der Welt

und im Kontext der Linguistik existiert.

Das heißt, wenn du jetzt ein Modell trainierst

und selbst wenn du dem nur beibringen möchtest,

ist diese E-Mail Spam oder nicht.

Das Modell muss zusätzlich zu dem tatsächlichen Problem und den entsprechenden Wörtern, die wahrscheinlich meistens darauf hindeuten, ob es Spam ist oder nicht, auch noch so viele andere Dinge lernen.

Zum Beispiel schon allein, wie funktioniert die englische Sprache, wie werden da die Wörter meistens angeordnet oder auch einfach, wie funktioniert die Welt, was sind Wörter, die im Kontext der Welt benutzt werden und wie passt das alles zusammen.

und das ist unglaublich viel

Wissen, was man eben auch

einem Modell quasi immer wieder beibringen muss,

damit es überhaupt das machen kann, was sie wollen.

Also es gibt Wortpolzen zu Themenkomplexen oder sowas, ja?

Ja, genau.

Und du wirst wirklich immer

von vorne anfangen

oder so war es in der Vergangenheit und jetzt

Transfer Learning

nennt man das auch.

Eine Sache, die wir

jetzt halt können und die jetzt tatsächlich funktioniert, ist,

dass wir

quasi wissen, dass wir aus anderen

gewonnen haben, quasi transferieren können auf das neue Problem. Also wir können quasi was

vortrainieren, was unserem Modell quasi ermöglicht,

schon ein bisschen mehr zu wissen über die Sprache und die generelle

Welt und die generellen Wörter und so weiter. Also wir können quasi sagen,

hier ist ganz viel roher Text, guck dir das an

und wie es zum Beispiel funktioniert ist, die Aufgabe ist,

hier sind ein paar Wörter und wir lassen jetzt ein Wort weg und dann

und lassen wir unser Modell

vorhersagen, was das Wort sein könnte.

Und das machen wir relativ lange,

bis es hoffentlich

eine ganz gute Gewichtung aufgebaut hat und das nächste

Wort vorhersagen kann. Und es hat sich

herausgestellt, dass diese Aufgabe

sich sehr gut generalisieren lässt für

andere Sachen. Das heißt, die Gewichtungen, die wir da

aufbauen, die haben unglaublich

viel Informationen inkludiert,

quasi über die Sprache. Was ja auch irgendwie Sinn macht,

wenn du überlegst, okay, was muss man

wissen oder lernen

um das nächste Wort

vorhersagen zu können.

Und das ist quasi so die

Essenz von dem,

was jetzt quasi ein bisschen neuer ist und was

auch dafür sorgt, dass man eben

relativ wenig gelabelte

oder spezifische Daten braucht,

um auch ein relativ

komplexes neues Problem zu lösen,

da man eben auf dieses

grellere Wissen zurückgreifen kann.

Also man kann quasi diese Gewichte vortrainieren.

Und das ist

die Idee.

Ja, ich

Genau, letztens gab es auch irgendwie einen Blogpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpostpost

oder eben Transfer Learning.

Ja, Terminologie generell im Bereich.

Was nennt man ein Modell?

Das finde ich ist leider ein bisschen unglücklich,

dass heutzutage oder so Language Model

wird halt für so viele Dinge benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut benut

oder zumindest

traditionell, man nennt vieles ein Modell.

Manche Leute nennen den

Algorithmus ein Modell, also

quasi die Implementation, den

Code, den du dafür schreibst, aber dann

gibt es natürlich auch das Artefakt, das du da

trainierst, also die Gewichte,

also so eine binäre

Datei, die dann da rumliegt

und die du am Ende speicherst.

Und vielleicht das zusammen

kann man eigentlich so als Modell bezeichnen.

Dann, ich glaube, früher

Language Model haben wir früher auch gerne genannt,

und halt Modelle, die wir trainiert haben für verschiedene Sprachen, aber das würde jetzt auch heutzutage viel benutzt für eben diese Gewichte, die man trainiert auf der Basis von rohem Text.

Das ist also heute hauptsächlich, was Leute meinen, wenn sie Language Mono sagen.

Also okay, wir haben kompletten Text aus der Wikipedia im Englischen runtergeladen und diese Embeddings trainiert, indem wir das nächste Wort vorhergesagt haben und die kann man jetzt weiter benutzen.

und das ist ein Language-Motto.

Also es gibt da verschiedene

Definitionen oder verschiedene

Verwendungen.

Es wird halt irgendwie in unterschiedlichen Kontexten

unterschiedlich verwendet.

Ich sehe auch, was Leute, was nennt man

Machine Learning, was nennt man

KI?

Oder AI.

Ist auch leider nicht immer so.

Oder AI.

Ja genau, da muss ich mich auch erst mal dran

gewöhnen, weil ich bin tatsächlich,

die deutsche Terminologie ist mir nicht so

nah, weil ich halt nie,

weil ich es halt nie gelernt habe auf Deutsch.

Also ich bin immer gewohnt, so auf Englisch drüber zu lesen.

Du bist doch gerade in Australien, ne?

Ich bin momentan gerade in Australien, ja.

Ein bisschen Social Distancing

von Opa.

Genau, so weit wie möglich weg.

Ich glaube, die Weitergeht auch gar nicht.

Ja, also wie gesagt, ich freue mich drauf, wieder zurückzukommen,

aber halt momentan ist, okay gut,

bringt ja auch keinem was, wenn ich jetzt

in der momentanen Situation

da wieder in den Flieger steige.

Ja, aber ich habe halt auch nie so,

ich habe zum Beispiel nie jetzt klassisch

Informatik studiert oder so.

Deswegen, das merkt ihr teilweise im Vergleich,

dass manche Leute, die halt auf Deutsch

Programmieren gelernt haben,

da so die deutsche Terminologie drauf haben.

Und da muss ich mich

auch erstmal reinlesen. Ich habe für

Spacey so einen Online-Kurs gemacht, den habe ich auch

in verschiedenen Sprachen übersetzt. Also ich nicht,

ich habe ihn auch nur auf Deutsch übersetzt.

Mehr Sprachen kann ich nicht, aber

andere aus der Community haben uns dabei geholfen

und ich muss mich erstmal sehr reinlesen in

die deutsche Programmier-

Terminologie. So sagt man

iterieren.

Also Konsens ist scheinbar ja.

Ja.

Ja, ich will das auf Deutsch sagen.

Das hört sich manchmal komisch an.

Ja, es ist sehr eigenartig.

Ich komme manchmal jetzt so

das Problem hatte ich jetzt letztens,

dass dann irgendwie

ich weiß nicht, Domain Driven Design,

ob das euch ein Begriff ist,

wenn man jetzt in einer anderen Domäne unterwegs ist,

also gar nicht unbedingt jetzt,

wenn es ums Programmieren geht, sondern einfach

fachlich ist man halt irgendwas unterwegs, wo

Leute halt ihre eigene Sprache für

entwickelt haben, um sich

überhaupt austauschen zu können über das Thema, mit dem

sie da zu tun haben. Und da habe ich

dann erstmal alles nach Englisch übersetzt, weil ich

das so schrecklich fand, weil

das geht gar nicht, wenn da irgendwie so deutsche Worte

im Source Code stehen, dann dachte ich so,

muss ich unbedingt übersetzen. Dann habe ich dann weitergelesen

und dann hieß es so, naja, nee, am besten immer die Originalbegriffe

benutzen, weil ansonsten ist das

die totale Verwirrung. Man weiß hinterher überhaupt

gar nicht mehr, was was bedeutet. Ja, das bin dann auch

passiert.

Es ist

irgendwie nicht so einfach mit den unterschiedlichen

Sprachen, das blöd. Ja, da hat es eine Mischung halt.

Ganz gerade im IT-Bereich ist ja voll auch so

Denglisch irgendwie dann.

Ja, und ich meine, Programmieren an sich,

Python ist Englisch.

Und auch so, du merkst ja natürlich,

die Wörter, du programmierst

auf Englisch. Oder schon

allein, wenn du dir so eine deutsche Tastatur anguckst.

Die englische

Programmiersprachen sind meist für die amerikanische Tastatur entwickelt worden. Deswegen haben wir den Backtick an der blödesten Stelle und es ist eigentlich der Akzent.

Oder Backslash.

Ja, oder auch andere, oder die ganzen Klammern zu tippen. Warum ist das so nervig auf unseren Tastaturen?

Ja, weil, ja.

Ja, wir wollten unbedingt neue eigene Tastaturen machen.

Ja, ich habe mir immer überlegt, ob ich einfach mal sagen soll, okay, ich lerne die amerikanische Tastatur, weil es ja wirklich fürs Programmieren einfach ist. Also einfach eine Taste zu haben, wo du einen Backtick tippen kannst, ist einfach. Aber ich kriege das nicht mehr hin. Ich glaube, ich bin zu alt.

Ja, du musst wahrscheinlich anfangen mit einer anderen.

Ja, oder bei mir ist das Problem auch immer, ich habe es dann immer mal überlegt, ob ich dann nicht in meinem nächsten Rechner dann tatsächlich amerikanische Tastatur oder englische Tastatur halt nehme

und dann dachte ich mir, aber ich habe jetzt noch ein paar andere

Ich habe auch gerne die Umlaute auf der Tastatur

Also es stört mich, wenn ich jetzt nicht ein Öl tippen kann oder so

Ja, aber ich sage mal, die Sprache, wir tippen ja schon alles dann auf Englisch raus

Also auch Kommentare und so würde ich jetzt mal schätzen, dass wir alle die auf Englisch schreiben

Das macht ja auch irgendwie Sinn, wenn man ein bisschen kollaborativ arbeiten möchte und so

und ja, es ist halt schon interessant.

Also ich glaube, Englisch ist halt, weil man so

ein Natural Language anguckt, mit Sicherheit um

Meilen weiter, als das irgendwie

Deutsch sein wird. Und

Meilen ist wahrscheinlich noch zu wenig.

Einfach von der Masse an Sätzen,

die so gesagt werden in den jeweiligen Sprachen

und was man damit halt an Datenbasis irgendwie

anfangen kann.

Also generell, die Forschung findet

auf Englisch statt und natürlich

es gibt unglaublich viel interessante Arbeit,

auch was NLP

angeht in anderen Sprachen

und auch die Forschung, aber

grundsätzlich muss man sagen,

rein alle

Sprachen, die

Englisch ähneln, mit denen können

wir momentan auch im Bereich

Machine Learning am besten umgehen, weil da einfach die

meiste Forschung stattgefunden hat.

Okay, interessant. Welche Sprachen ähneln

Englisch?

Also natürlich so die

romanischen Sprachen

schon. Also alles,

also es ist halt

und so ein Spektrum, aber Chinesisch zum Beispiel eher nicht.

Also ich würde sagen, eher die Sprachen, die Englisch am unähnlichsten sind,

sind durchaus auch weniger erforscht.

Oder die Techniken, die veröffentlicht werden oder die geforscht werden

und die Strategien für Machine Learning und so weiter,

die sind halt schon meist optimiert für Englisch.

und da ist natürlich auch die Motivation da für den Forscher zu sagen, okay gut, du möchtest ja auch, das kann man ja auch den einzelnen Leuten da nicht ankreiden, also du möchtest natürlich, wenn du auf einem Gebiet forschst, du möchtest deine Experimente vergleichen können mit anderer Arbeit, du möchtest sagen, hey, hier, cool, ich habe tatsächlich was entwickelt und was gemacht hier, das irgendwie besser ist als das, was vorher da war und ja, viele der wichtige, die wichtige Arbeit ist halt, ja, funktioniert mit englischem Corpora,

und das heißt, natürlich ist da eine Motivation da, auch mit der englischen Sprache zu arbeiten.

Und natürlich ist einfach mehr und mehr Daten da.

Ja, auch einfach viel mehr Trainingsdaten.

Aber man muss auch sagen, okay, momentan, wir sind am Punkt, man braucht gar nicht mehr unbedingt so viele Daten.

Man kann Daten selber erstellen, das ist ja auch ein Bereich, in dem wir arbeiten.

Also unser kommerzielles Produkt, wodurch wir auch Geld verdienen, weil wir machen ja unglaublich viel Open Source,

was wir verschenken quasi

ist Prodigy, das ist ein

Annotationstool, speziell

entwickelt für Entwickler und Machine Learning. Also die

Idee ist, okay, oft

du willst, wenn du halt ein spezielles

Problem löst, ist es oft nicht damit

getan, dir einfach irgendein Modell aus dem

Internet runterzuladen, das irgendjemand anders mal trainiert

hat und das vielleicht ein bisschen ähnlich ist zu dem, was

du machen möchtest. Und

da wir auch heute an einem Punkt sind, wo wir sagen,

du brauchst gar nicht mehr Big Data

Milliarden an

Beispielen,

und auch ein paar hundert, paar tausend.

Damit kannst du echt, also wenn du es gut machst

und wenn das gut durchdacht ist

und

du dir Gedanken machst, okay, wie strukturiere ich das

Problem, kannst du damit echt super

Resultate mittlerweile erzielen. Das heißt,

es ist auch komplett

machbar, dass du sagst, hey, ich setze mich einfach hin

und verbringe eine Stunde, gucke mir meine Daten

wirklich an, überlege mir, wie label ich die

und wenn

das Tool effizient ist

und du damit gut arbeiten kannst, kannst selbst du

als einzelner Mensch innerhalb

von einer Stunde ein Datenset erstellen,

mit dem du wirklich was

auch produktiv machen kannst.

Vielleicht da nochmal auf die

Features könnten wir da nochmal eingehen.

Was macht denn Spacey jetzt genau

mit einem Datensatz? Also was kannst du damit alles

machen? Also Spacey ist

eine Bibliothek,

mit der du

moderne NLP-Systeme

bauen kannst.

Wir haben

verschiedenste Komponenten, die du

trainieren kannst.

Wir haben natürlich auch Pipelines, die man sich runterladen kann, die wir vortrainiert haben und für verschiedene Tasks oder verschiedene Probleme kannst du halt deinen Text reinfüttern und du bekommst am Ende die Annotationen, die das Modell extra hier hat, am Ende raus.

und Jochen unterhalten sich über die Programmiersprache Python

Name, Städtename, Produktname, Firmenname und so weiter. Und das ist natürlich vor allem spannend, wenn man das halt auf seine ganz spezielle Problematik zuschneidet. Also wenn man spezielle Begriffe in seinem Bereich hat und dann kannst du wirklich ein Modell trainieren, dass das entsprechend dir vorhersagen kann und dann hast du halt den Personennamen.

für die Domäne irgendwie.

Genau, und dann kannst du auch sagen, okay,

der Personenname, ist das jetzt das

Subjekt oder das Objekt und so weiter.

Oder andere Komponenten,

wo wir halt gerade dran arbeiten oder die man halt auch

bauen kann. Du kannst sagen,

wenn du jetzt ein Pronomen hast,

so er bezieht sich

auf wen bezieht sich das? Also der Mann

kommt nach Hause,

er zieht sich die Schuhe aus.

Kannst du das er zurück

auf den Mann

beziehen. Das ist auch in vielen Kontexten sehr wichtig.

Denn das ist was, wenn wir das lesen, uns ist das relativ klar.

Wenn du das maschinell machst, ist es deutlich

trickier und auch nicht immer so eindeutig, wie wir das gerne hätten

in der Sprache.

Textklassifizierung hast du ja schon mal angesprochen vorher.

Du kannst natürlich auch Labels für den ganzen Text vorher sagen. Geht es hier um Sport?

geht es hier um Politik,

geht es hier um Spam,

das ist was, was du machen kannst und du kannst

eben, und Spacy lässt sich halt diese

Komponenten zu einer Pipeline

zusammenbauen

und natürlich zwischendurch

es kann auch sein, dass du sagst, hey, ich möchte

einen Baustein, der soll einfach nur

richtig oldschool, ein paar reguläre Ausdrücke

sein, denn in der Praxis

ist das nach wie vor,

es macht Sinn, du trainierst ein System

richtig fancy, Transformers,

Named Entity Recognition,

Geil, sag Firmennamen voraus, es funktioniert super und dann, weiß nicht, zeigst du es deinem Chef, der gibt irgendwas ein mit deinem Firmennamen drin und das Ding erkennt den eigenen Firmennamen nicht, weil der irgendwie komisch ist und überhaupt nichts Ähnliches in den Trainingsdaten war.

Jetzt können sie sagen, oh, da mache ich jetzt nochmal neue Trainingsdaten,

tune meine Hyperparameters und verbringe da nochmal ein paar Wochen dran

und am Ende kriegt der unseren Firmennamen hin, aber kann irgendwelche anderen Sachen nicht mehr.

Oder du sagst, ja geil, haue ich jetzt einfach einen regulären Ausdruck drauf

und dann kriegt der unseren Firmennamen immer richtig hin.

Und in der Praxis, so löst man viele dieser Probleme.

und so sehen praktische Systeme aus.

Du hast vielleicht einen super heißen, modernen Baustein,

der die neuesten Transformer-Modelle verwendet

und dann hast du vielleicht einen Text-Classifier,

der noch Oldschool-Lineares-Modell, weil es einfach gut funktioniert.

Dann hast du noch ein paar Regeln obendrauf

und am Ende hast du halt

eine Repräsentation von einem Text, wo alle

diese Informationen drin ist, die du dann

verwenden kannst, um

was auch immer dein eigentliches Ziel ist

zu erreichen.

Denn das ist ja auch nochmal ein Problem.

Die tatsächlichen Ziele, die man

hat und die Probleme, die man lösen möchte,

die sind ja nicht immer eins zu eins

übertragbar in ein

Machine Learning Modell, das man

trainiert.

So stellen sich das manche

Leute manchmal vor. Oh, unsere Firma

möchte, dass wir das und das und das auslesen und das am Ende so und so in die Datenbank eingeben.

Kann man versuchen, wirklich von A nach B komplett ein System vorhersagen zu lassen,

ist aber oft in der Praxis nicht sonderlich nützlich.

Und auch nicht oft muss man sich hinsetzen, okay, wie kann man das Problem runterbrechen

in kleinere Bausteine, die man auch tatsächlich effektiv mit den technischen Möglichkeiten,

die wir momentan haben, lösen kann.

Naja, ja.

Ja, es ist auch immer wieder, ich meine, ich finde das

ja tats erstaunlich dass sich im Grunde alle Probleme letztendlich dann doch auch vielleicht manchmal in mehreren Schritten aber auch eben sowas Simples wie bin Klassifikationen quasi runterbrechen

lassen, weil

von binärer

Klassifikationen zu Multilabel, also dass man halt

mehrere Labels jetzt für den Text vorher sagt

oder so, ist eigentlich quasi auch das Gleiche

und ja, dann gibt's halt

noch Regressionen und dann gibt's halt noch Clustering und dann

war's das im Grunde schon, aber man

kann damit halt ne Menge machen und da dachte ich,

so, hm, damit soll man wirklich alles machen können,

aber ja, es geht schon, aber

man muss sich halt dann doch ein bisschen

ja, manchmal...

Es geht halt auch so ein bisschen ums Mindset, aber das ist ja auch beim

Programmieren generell nicht anders.

Also wenn du jetzt sagst, okay, ich hab hier

ein Problem, das möchte ich lösen mit Python,

dann musst du dir auch überlegen, okay, was habe ich hier zur Verfügung?

Was sind so diese Abstraktionen?

Wie strukturiere ich das?

Was macht Sinn, was macht

keinen Sinn?

Und das ist quasi der Job,

den du dann als Softwareentwickler löst und

so ähnlich ist es auch

im Bereich Machine Learning. Ist auch quasi

eine Art zu programmieren.

Ist halt nur ein bisschen anders

und man hat halt noch diese Daten

als die Komponente.

Im klassischeren Programmieren hast du halt

im Programm, da geht was rein, kommt immer

was raus. Hier hast du Code

plus Daten.

Beziehungsweise das, was man

programmiert, ist nicht so sehr

ein Algorithmus, aber man legt

eher die Daten für ein Modell fest, das dann

irgendwie

tatsächlich dann irgendwie was macht.

Das fand ich auch interessant, das gab es, glaube ich, 2018

gab es einen Vortrag von

André Carpati,

ich weiß gar nicht, wie das auch gesprochen wird,

Software 2.0 oder Software 2.0

Genau, also das ist auch eine sehr

jährige Idee, ja. Genau, der

sagt ja auch, ja, also früher haben wir halt

sozusagen eine, also

wir haben ein Problem und

haben wir einen Lösungsraum für dieses Problem

und wenn wir jetzt das explizit

programmieren, dann nehmen wir uns einen ganz winzigen

Punkt aus diesem Lösungsraum

raus und definieren den halt

exakt, aber tatsächlich kann man ja auch vielleicht

einfach eben per Daten so eine

Region aus dem Lösungsraum raus

zeigen und dann halt ein Optimierungsverfahren

verwenden, um tatsächlich die

Lösung zu finden, also

quasi per Machine Learning

ein Modell trainieren, das dann halt

sozusagen die Lösung

modelliert

und dann verändert sich

der Job als Programmierer halt so

ein bisschen und

das fand ich auch sehr interessant.

Das hebt es dann wieder auf eine etwas abstraktere Ebene

dann werden natürlich die Tools, die man dafür braucht

halt extrem wichtig und

sehr interessant. Genau, und auch

die Daten in ganz anderen Stellen werden bekommen

und das ist halt auch, was meiner Meinung nach nach wie vor

nicht genug Aufmerksamkeit bekommt

also auch so als Analogie jetzt

wenn du programmierst

klassisch, schreibst du deinen Code

dann hast du einen Compiler, da geht

dein Code rein und am Ende kommt ein Programm

raus und

jetzt mit Machine Learning hast du

deine Daten, du hast einen Algorithmus

und am Ende trainierst du dein Modell und dein Modell kommt raus.

Und wenn du jetzt feststellst, okay, dein Modell ist nicht sonderlich geil

oder im klassischen Programmieren, das Programm, was am Ende rauskommt aus deinem Compiler,

macht nicht das, was es soll, ist zu langsam, funktioniert nicht, hat Bugs, was machst du?

Du könntest natürlich hingehen und sagen, okay, da gehe ich jetzt erstmal an den Compiler ran

und schreibe mir meinen eigenen Compiler.

Machst du aber normalerweise nicht.

Normalerweise, du gehst in deinen Code rein und veränderst deinen Code

und passt den an und fix den,

damit dein Programm am Ende besser wird.

Ich will damit nicht sagen, es gibt super viel Arbeit,

die man im Bereich Compiler noch machen kann,

aber das ist normalerweise so nicht

das Erste, was man macht.

Und analog natürlich,

Machine Learning, wenn dein Modell

nicht das macht, was es soll und du damit

nicht zufrieden bist, kannst du

hingehen und deinen Algorithmus tweaken

und natürlich kann sein, dass da ein Bug drin ist,

der dafür sorgt, dass dein Modell

nichts lernt, aber meistens, was du

machen solltest, ist, dir die Daten angucken.

Und du kannst

das Schöne am praktischen

Machine Learning oder praktischen

NLP, wenn du es wirklich anwendest

auf Probleme, ist, dass du

selber entscheiden kannst, wie schwierig

oder wie einfach du dir

das Problem machst. Du kannst

kontrollieren, wie du deine Daten

annotierst, wie du die aufbereitest,

wie du

das Problem runterbrichst.

Und das ist, glaube ich, auch

wie sich zum Beispiel die angewandte Praxis so ein bisschen unterscheidet

von der reinen Forschung.

In der Forschung ist das Zielen ganz anderes.

Du hast ein Problem, du hast einen Benchmark,

du hast einen Algorithmus, den du entwickelt hast

und dann, es macht natürlich Sinn, wir wollen alle unsere Algorithmen

am selben Problem vergleichen, denn nur so kannst du sehen,

ist das, was ich jetzt hier mache, besser als das, was jemand anders gemacht hat.

Macht meine Idee Sinn, funktioniert das?

Das heißt, da setzt du dich typischerweise nicht hin

und änderst das Problem, denn dann hat deine ganze Forschung keinen Sinn mehr.

Aber das sind eben ein bisschen die anderen Denkweisen, die man da hat.

Und das ist auch, glaube ich, etwas, was einfach die angewandte Praxis unterscheidet.

Und auch jetzt, um es wieder zurückzuführen, ein bisschen auf das, was wir so machen,

was auch so ein bisschen die Philosophie von Spacey unterscheidet von vielleicht anderen Bibliotheken

und auch die Gedanken, die wir uns machen müssen.

Unsere Nutzer sind ja Entwickler, die wirklich in der Praxis diese Systeme bauen.

Und das heißt, wir müssen natürlich Entscheidungen treffen, die das besonders effizient und einfach machen,

aber auch die Möglichkeit geben, diese Bausteine entsprechend zusammenzusetzen,

manche Bausteine wiederzuverwenden und eben eine flexible Möglichkeit zu haben,

diese Systeme halt zu bauen und auch zu testen

und auch zu sehen, okay,

wenn was nicht funktioniert, möchtest du ja gucken,

wo ist das Problem? Das ist

sehr schwer, wenn alles so eine Blackbox ist und du

am Ende nicht weißt, was passiert da.

Da geht was rein, am Ende kommt was raus und

ja,

das war's halt.

Ja, ja, ja, genau.

Und das ist natürlich auch sowas, was

eben man wahrscheinlich

im akademischen Bereich nicht so häufig hat,

dass man eben auch mit den Annotationstools

viel zu tun hat oder auch mit, was ich auch immer häufig sehe, dass man dieses, wie speichert man Daten, wie reagiert man darauf, wenn sich Daten verändern oder so, ist halt ein ganz wichtiger Teil, dieser ganze Data Engineering Aspekt ist halt auch total wichtig und den hat man halt eigentlich gar nicht, wenn man jetzt mit fixen Corporate arbeitet, die immer gleich sind.

und ich meine, das ist ja wie gesagt,

das ist ja auch nicht unbedingt was, wo sich

ein Forscher mit beschäftigen möchte, aber ich glaube,

es ist eher was, was man auf der anderen Seite, wenn man eben

im angewandten Bereich arbeitet,

sich halt bewusst machen muss, okay,

oder es gibt so ein bisschen den

momentan, viele Leute sind unglaublich

heiß drauf und wollen sich halt so, okay, die letzte

Forschung direkt rein

ins Blut

direkt injizieren

so schnell wie möglich

und in manchen Bereichen

geht das und natürlich, wir haben

wirklich in den letzten Jahren vor allem sehr

schnelle Adoptionen gesehen von Dingen, die in der

Forschung entwickelt wurden und auch

praktisch sehr schnell

auch

verwendbar waren.

Und natürlich

der Kreislauf geht schneller

und wenn irgendwas Interessantes rauskommt,

dann

dauert es auch nicht mehr so lange,

bis man auch tatsächlich was Sinnvolles damit machen

kann, aber es ist halt nicht immer so.

Nur weil irgendein Paper rauskommt,

was halt spannend klingt, heißt es nicht,

und Jochen unterhalten sich über die Programmiersprache Python

Ja, ja, ja, ja.

Ja.

Genau.

Ja,

ihr macht ja auch noch diese

im Prodigy, dieses

Annotationstool, das ist

auch alles quasi so, wie Spacey auch

Python, beziehungsweise wahrscheinlich dann im

Frontend irgendwie was anderes, das weiß ich gar nicht.

Ja, also Frontend

natürlich, du brauchst immer ein bisschen JavaScript, damit es im Browser läuft

und es ist so eine relativ leichte

React-App, aber ja,

Backend ist alles in Python und die Philosophie ist auch wirklich, okay, es ist ein Entwicklertool,

du möchtest damit programmieren. Das war uns immer unglaublich wichtig und

wir freuen uns auch, das wurde halt super gut angenommen, Prodigy ist sehr erfolgreich

und das ist auch was, was wirklich Entwickler

anspricht und das ist auch die Art von Tools,

die wir entwickeln wollen und natürlich auch die Art von Tools, die wir auch gerne benutzen wollen. Also ich möchte, wenn ich mit

etwas arbeite, ich möchte programmieren können. Wenn ich irgendwas

irgendwas möchte, wenn ich

weiß, wie ich irgendwas in Python machen kann

und ein Tool gibt mir die Möglichkeit,

da einfach ein bisschen Code zu schreiben,

denke ich, cool, super.

Vor allem, weil ja auch in dem Bereich

fast alles andere in Python

läuft.

Wenn du jetzt BASIC benutzt,

andere Bibliotheken, die Modelle,

das ist meistens Python.

Du kannst unglaublich viel machen,

was das Laden von Daten,

Streamen und so weiter angeht.

und das ist alles möglich, das ist alles gelöst.

Da ist auch unsere Philosophie generell, wir wollen es Entwicklern ermöglichen, Code zu schreiben.

Wenn du Code schreiben kannst, ist es immer besser.

Du möchtest nicht nur einen Button haben, auf den du klicken kannst.

Ein Button, auf den du klicken kannst, ist cool, aber wenn du mehr machen möchtest,

solltest du die Möglichkeit haben und für Entwickler ist einfach Code die beste Art und Weise.

Was kann man denn machen

mit den Daten, um die vorzubereiten

oder aufzubereiten für Spacey oder

mit Spacey sogar mit den Daten?

Also es kommt natürlich darauf an,

was man machen möchte. Also meinst du mit vorbereiten,

okay, du hast halt rohen Text

und du möchtest halt etwas damit trainieren

und du möchtest den annotieren?

Ja, also

erstmal, die Daten

musst du natürlich annotieren

und die in Format bringen,

damit du zum Beispiel dann

Modell damit trainieren kannst.

Eine Option ist,

du kannst ganz oldschool in einer

Excel-Tabelle machen, du kannst es

ganz oldschool in

JSON machen und das wirklich eintippen,

von hier bis da ist eine Person,

oder das und das ist das Label,

so wird es auch oft gemacht. Dann natürlich mit

einem Tool wie Prodigy sagen wir, hey, du kannst einfach

deine Daten rein streamen, du kannst

ein bisschen klicken,

du kannst auch Sachen ein bisschen automatisieren,

das ist halt auch immer cool, denn

als Menschen,

wir sind einfach, es gibt viele Dinge, die wir einfach

schlechter können als ein Computer.

Ist halt nun mal so.

Unser Erinnerungsvermögen ist schlecht,

wenn es darum geht,

Dinge zuverlässig,

immer konsistent, genau gleich

zu machen, können wir nicht.

Und das sind nun mal Dinge,

dafür haben wir Computer entwickelt, das kann ein Computer halt

besser. Deswegen sagen wir,

wenn du halt Dinge, die

sehr

ein bisschen

stupide, aber wo du immer das Gleiche machen musst,

das kann halt auch ein Computer machen. Du kannst dem Computer sagen, okay, ich bin mir relativ sicher,

dass Berlin eigentlich immer eine Stadt ist.

Und wenn nicht, gut, dann kann ich das korrigieren.

Das heißt, du kannst dir Workflows bauen, wo du sagst, hey,

ich habe hier ein paar Beispiele für das,

was ich quasi in meinen Daten labeln möchte.

Das mache ich jetzt automatisch

und guck mir das nur an und wenn irgendwas falsch ist, dann korrigiere ich das.

Oder du hast schon ein Modell, das sagt ein paar Dinge voraus, ist aber nicht so gut.

Dann kannst du sagen, cool, Modell, label mir das schon mal und ich guck mir das nur an.

Das ist was, was du machen kannst und am Ende, okay, am Ende kriegst du die Daten raus

und kannst dann dein Modell damit trainieren.

Aber da fängt es halt auch, ich würde sagen, da fängt es halt erst an.

Das ist halt der erste Schritt und das Lustige ist oft, wenn man halt hört,

wie Leute sich über diese Themen austauschen,

klingt es danach, als wäre es

dann schon vorbei. Cool, du labelst so ein bisschen

deine Daten, dann trainierst dein Modell, fertig.

Aber natürlich

ist es immer

ein iterativer Prozess.

Dein Modell musst du immer weiter trainieren, genauso wie

du deinen Code

auch ständig refactors

und

weiterentwickelst. Das ist nicht

statisch. Oder eine Webseite.

Du kannst eine Webseite dir entwickeln lassen,

in Auftrag geben, aber die musst du halt auch updaten.

Und wenn du jemanden beauftragst,

dir eine Webseite zu machen,

willst du

normalerweise auch, dass

die Webseite, dass da irgendwas

eine Möglichkeit ist, dass du die auch später updaten kannst

und nicht jedes Mal deinen Webmaster anrufen musst,

wie in den 90ern oder so.

Und deswegen,

okay, einmal du hast deine Daten,

meistens irgendwas geht schief, irgendwas funktioniert nicht,

dann guckst du dir oft an, okay,

was sind die Probleme,

und Jochen unterhalten sich über die Programmiersprache Python

für Stadt, Kreis, Bundesland oder so.

Vielleicht mache ich es ein bisschen allgemeiner,

denn oft ist das ja, vielleicht macht es so,

dass die Modelle ein bisschen einfacher sagen,

okay, du musst nicht nur am Kontext erkennen,

handelt es sich um eine generelle Ortschaft,

ein Land, ein Kontinent, ein Kreis, ein Bundesland.

Und das ist oft vielleicht ein bisschen einfacher

am Kontext vorher zu sagen.

Und dann kannst du immer noch sagen, okay,

ist, dass

sobald ich weiß, da geht es um eine Lokalität,

habe ich einen zweiten Prozess,

der dann sagt, okay, der grenzt das ein bisschen mehr ein

und so weiter. Das sind alles die Entscheidungen,

die man halt treffen muss, die auch oft sehr spezifisch sind

und darauf ankommen, was man halt

für ein Problem lösen möchte.

Naja, also in der Praxis kriegt man dann

immer oft so,

was ich bei

Textkategorisierungen dann

ganze Zeit gemacht habe, war halt so

in einem Preisvergleich Angebote in Kategorien

sortieren. Und da ist es halt zum Beispiel, merkt man dann, wenn man viele Angebote hat und auch viele immer neu dazukommen von irgendwelchen Shops, die man vorher noch nicht gesehen hat, dass es unter Umständen sehr sinnvoll ist, so eine Kategorie zu haben, wie alle Dinge, für die wir keine Kategorie haben, weil ansonsten verteilen die sich halt in alle Dinge, wo man eine hat und das ist gar nicht gut, weil dann denkt man sich, wo kommt dieser Kram immer her? Ja, genau. Einerseits willst du dir natürlich vorher idealerweise Gedanken machen,

wie ordne ich das ein?

Du möchtest auch nicht, dass du während du das annotierst, dass jeder

dann einfach mal, oh hier habe ich noch eine Idee für eine Kategorie.

So stellen sich das

auch manchmal Leute vor, aber das ist natürlich nicht sinnvoll.

Aber andererseits musst du

auch überlegen, okay, wie gehe ich damit um?

100 pro, du hast 1000 Beispiele

annotiert und dann denkst du, ja Mist, nee, hätte ich jetzt doch

nochmal eine andere Kategorie machen sollen.

Und dann willst du einen Workflow haben,

bei dem du das relativ easy machen kannst.

Und wo du nicht sagst, ja toll, jetzt muss ich nochmal

ganz von vorne anfangen oder

oder, ja, jetzt, keine Ahnung, jetzt habe ich meinen ganzen Fortschritt hier verloren und so weiter.

Also das ist alles richtig.

Und noch ein ganz anderes, oder ein ähnliches Thema ist,

du inkodierst immer eine gewisse Voreingenommenheit in dein Modell.

Das liegt schon daran, dass Sprache ist voreingenommen.

Und das ist ja auch nicht unbedingt schlecht.

und Jochen unterhalten sich über die Programmiersprache Python

Twitter-Kommentare generieren.

Genau, oder auch...

Oder du trainierst

dein Modell für Personennamen

und in deinen Beispielen, da haben alle so

schöne deutsche Namen wie Jochen

und das funktioniert auch total super.

Und dann setzt du das

in der Praxis ein, wo auf einmal

Leute nicht so typisch

klassische deutsche Namen haben

und dann geht das nicht. Und dann

können die Leute deine Tools nicht nutzen

oder haben dann ganz komische

Probleme,

und das ist natürlich auch was,

was du erst herausfindest, wenn du

mit den Daten arbeitest und

da tatsächlich iterierst

und

ja.

Ja.

Ja, ich glaube,

das stellen

sich viele Leute meistens dann

so einfach vor.

Ja, es ist

ja.

Und gute Tools an der Stelle.

Sprache ist messy.

und es macht es auch spannend, aber es ist durchaus, also man kommt nicht drum rum, sich auch wirklich Gedanken zu machen.

Und Ärger.

Künstliche Intelligenz macht das alles für uns.

Nein, wenn du es benutzen möchtest und da wirklich, und nicht nur, du musst dir Gedanken machen, du solltest dir Gedanken machen.

und ich finde es wichtig, dass wir uns alle Gedanken machen über das, was wir entwickeln,

was wir erreichen wollen, wie wir das machen, ob es Sinn macht, was da für Probleme auftreten können

und eben auch, wie es funktioniert.

Ich glaube, es ist wichtig zu verstehen, grob, wie funktionieren diese Modelle,

was passiert da, auf welcher Basis machen die Vorhersagen und was bedeutet das am Ende.

und das bedeutet nicht, dass jeder genau im Detail Machine Learning verstehen muss,

genauso wie natürlich, wenn du dein Auto fährst, musst du nicht verstehen, wie das Auto genau funktioniert,

aber bis zum gewissen Grad ist es durchaus wichtig und deswegen finde ich es auch teilweise problematisch,

wenn das so ein bisschen in manchen Tools oder in manchen Produkten so komplett weg abstrahiert wird,

so, uh, gib irgendwas ein, unsere magische künstliche Intelligenz macht das alles für euch.

und ich glaube, da das Problem ist,

das ist halt

schon allein

für die Benutzer

das deutlich intransparenter

macht, was da eigentlich passiert.

Obwohl eigentlich, glaube ich, auch der Endbenutzer

sollte sich überlegen, okay, was geht

da ab?

Okay, eine KI

macht das. Die erste Frage sollte sein, okay,

womit wurde die trainiert?

Oder auch, genau,

in der Medienberichterstattung, okay, cool,

irgendwas mit KI,

auf welcher Basis denn? Was macht das?

Und das einfach ein bisschen kritischer

hinterfragen und ich glaube, dahin kommen wir nur, wenn wir halt

auch dafür sorgen,

dass jeder so ein bisschen grob eine Idee hat,

wie das

so funktioniert

und das ein bisschen einschätzen kann.

Ja, das ist

momentan halt so eine Übergangszeit,

wo teilweise

die Erwartungen halt total übertrieben sind,

auf der anderen Seite halt nicht klar ist, was alles an tollen Sachen schon geht.

Und ich denke, wo dann Leute sagen, ja, das geht ja dann auf keinen Fall.

Und man denkt so, ja doch, eigentlich schon, das geht ja schon.

Das ist halt ein bisschen undiintuitiv, was auf einmal funktioniert und was halt nach wie vor schwer ist,

weil es halt auch nicht immer proportional ist zu dem, was man sich so vorstellt.

Und es ändert sich halt gerade.

Und dann hat man mühselig gelernt, dass dies oder jenes nicht geht.

Und dann ist das Wissen ja auch nur ein paar Jahre alt.

Und dann plötzlich ist es aber schon veraltet.

Und das geht in anderen Bereichen ja nicht so.

Da stimmt das halt alles noch, wenn man das mal gelernt hat.

Und ja, das macht halt

viele Verwirrungen irgendwie auf allen Ebenen.

Ja.

Ja.

Es ist auf jeden Fall eine spannende Zeit, aber ich glaube,

es gibt viele Möglichkeiten und ich glaube auch,

es gibt viele Anwendungsbereiche, wo

auch wirklich diese neuen Technologien

einen großen

Unterschied machen können.

Das würde mich jetzt tatsächlich auch nochmal interessieren, also was für

Anwendungsbereiche es denn dafür alles gibt.

Also Chatbots haben wir jetzt irgendwie schon gesagt oder

und Jochen unterhalten sich über die Programmiersprache Python

und Jochen unterhalten sich über die Programmiersprache Python

anpassen können.

Das klingt erstmal

super lame,

ist jetzt nicht,

als Beispiel denkst du so,

next, aber das ist

tatsächlich was, was

entsprechend auch einen sehr positiven

Einfluss hat,

auf die Welt,

auf die Wirtschaft, unser generelles Zusammenleben,

also auch komplett.

Das ist noch nicht mal so ein Beispiel,

hier Finance, Evil,

und das ist, ja, objektiv zu sagen, okay, gut, davon haben wir eigentlich alle was.

Jetzt, genau, als Beispiel, aber auch, ja, also, ich würde schon sagen,

die Sachen, die relativ gut funktionieren, sind nicht immer die sexiesten, wie man so gerne sagt,

aber

ja.

Ja, ich meine, ich kenne es halt

häufig, ich weiß nicht, ob das jetzt die Welt

wirklich besser macht, aber es wird viel

verwendet eben in diesem ganzen Bereich Werbung

irgendwie automatisieren

in gewisser Weise.

Da kann man sich glaube ich schon, da kann man sich tatsächlich

überstreiten.

Was passiert eigentlich, wenn man so etwas

wie Spacy auf Python als Sprache

lassen würde, also Text in Python?

also eine Programmiersprache.

Also es gibt, also Spacey jetzt an sich

ist schwer zu sagen,

weil natürlich die Implementationen,

die wir jetzt entwickelt haben, die sind natürlich so ein bisschen

getönt auf tatsächlich natürliche Sprache.

Aber es gibt sehr interessante Projekte

zu

Source-Code

Analyse

mit Machine Learning. Ich glaube GitHub hat dazu

auch was gemacht.

Das war sehr spannend und

ja, es gibt auch ein paar Projekte, wo du

halt siehst, oh cool,

dieser generative Ansatz, der funktioniert ja auch, du kannst ja auch sagen, basierend auf diesen Wörtern oder diesen Tokens im Programmierensinn, sage die nächsten voraus.

Und so kannst du natürlich, du kannst natürlich sagen, was am Ende raus das Ding produzieren muss, muss natürlich gültiger Code sein, der auch läuft.

und so haben auch Modelle entwickelt, die natürlich dann programmieren können,

also quasi reflektieren können, was andere Leute auf GitHub gepostet haben.

Oder der Super-Vergessen-Share-Auto-Competition oder sowas ist ja auch relativ nah dran.

Gibt es auch einen Bereich, wo ich sage, okay, das macht natürlich Sinn,

oder auch, wenn du jetzt rein theoretisch, stell dir vor, du hast eine riesen Codebase

und du könntest sowas trainieren für deine eigene Codebase.

und das w zum Beispiel noch mal cooler als jetzt okay auf der Basis vom ganzen Internet oder du f an mit so einem relativ generischen Modell das jetzt irgendwie auf GitHub alles m gesehen hat

dann passt das so ein bisschen an mit deiner Codebase

und dann könnte es zum Beispiel

dein Editor sagen, ja, hier hast du aber

einen Namen benutzt, der

irgendwie sieht komisch aus oder diese

Variable

das sieht irgendwie, das passt nicht

und dann kannst du sagen, ah ja, stimmt,

das war nicht so guter Stil oder

so machen wir das ja eigentlich nicht in dieser

Codebase. Das ist zum Beispiel ganz spannend.

Aber das ist auch wieder sowas,

das ist cool, aber

ist jetzt vielleicht nicht so hypig

wie, wow, AI

schreibt jetzt,

programmiert jetzt für uns.

Aber

man muss eben auch sagen, auch selbst wenn du

eben solche Modelle trainierst, die eben

die nächsten Wörter

fürher sagen, die können super interessante

Dinge ausgeben, aber im Endeffekt

dein Modell ist

kein Programmierer. Dein Modell

Dein Modell kopiert Programmierer.

Genauso wie wenn du jetzt irgendwie so ein Modell fragst zu medizinischen Themen oder so.

Auch wenn das das ganze Internet gelesen hat.

Das kann sich dann als Doktor ausgeben oder so, als Arzt ausgeben.

Oder es kann sich als, es kann genau diesen Text produzieren.

Aber es kann nicht unbedingt Krebs heilen.

weil es eben

nur das repliziert

was existiert

an Text über

die Heilung von Krebs

zum Beispiel

und deswegen

ich glaube auch so

brauchen wir bald keine Programmierer mehr

ich finde das ist immer ein bisschen

ich finde auch man kann sich

Webentwicklung angucken, das ist ein ganz gutes Beispiel

da ist einfach ein paar Jahre voraus

die Tat war, dass jeder

jedes Café

jetzt sich eine Webseite einrichten kann, bedeutet nicht, dass wir keine Webentwickler mehr brauchen.

Im Gegenteil, das ist als Beruf gefragter

denn je. Es ist nur, ja,

bestimmte Teile der Technologie sind halt zugänglicher, aber es gibt nach wie vor genug Leute,

die daran arbeiten und es bedeutet auch, dass, okay, Firmen

viel, viel mehr investieren. Jede Firma hat große Abteilungen, die sich

halt mit Web, Apps, User Experience

und so weiter beschäftigen. Das ist ganz normal.

Und das geht auch nicht zurück,

nur weil sich jeder jetzt irgendwie

einen Online-Blog einrichten kann.

Was sich vielleicht dann doch verändern könnte, ist halt irgendwie

die Art und Weise, wie man sowas macht.

Also dass man halt jetzt nicht vielleicht pure Syntax

schreibt, sondern vielleicht irgendwie auch logische

Gedanken irgendwie formulieren kann

und die Syntax dafür dann

übernommen wird vom Alkoholismus.

Ich weiß nicht, ob das wirklich gehen kann.

Ja, vielleicht.

Ja, also ich glaube auch generell für

andere

und die Programmiersprache Python.

von Programmieren. Und das sind auch

alles Tools, die man entsprechend

verbessern kann

oder wo man einfach

dem Nutzer bessere

Tools zur Hand geben kann,

um einfach

besser arbeiten zu können.

Und das heißt nicht unbedingt, dass man ein

magisches KI-Modell hat, das auf einmal

den Anwalt ersetzt oder den Arzt

ersetzt oder

den Buchhalter ersetzt, sondern...

Ein bisschen mehr, bei anderen weniger, schade.

Ja.

Ja.

Ja, wobei ich mich da auch manchmal frage, ob das nicht

so ein Bias ist, den man hat, dass man

denkt, dass da bestimmte Berufsgruppen,

die halt ein traditionell

hohes Ansehen haben, vielleicht gar nicht

so unersetzt, also ich denke jetzt gerade an sowas wie Lehrer

zum Beispiel, wo man sich sagt, ja gut,

also wenn das jetzt mit dem,

vorher fand man das ja vielleicht mit

irgendwie Remote-Dinge unterrichten

oder so,

und jetzt konnte man halt nicht anders und jetzt haben die Leute gesehen,

ah, es geht ja doch, ist ja gar nicht so schlecht,

warum ist

und Jochen unterhalten sich über die Programmiersprache Python

wegfallen. Und das betrifft

entsprechende Menschen.

Und das betrifft auch entsprechende Bevölkerungsgruppen.

Und eben

leider auch entsprechende Bevölkerungsgruppen, die schon

eh weniger

privilegiert sind als andere.

Das ist die Praxis.

So ist es.

Ich weiß gar nicht, ob es diesmal so unbedingt sein muss.

Mich würde es freuen,

wenn es auch mal andere trifft.

Aber gut, keine Ahnung.

Vielleicht trifft es auch immer die gleichen.

Das ist halt immer

ein viel tiefgehendes Problem.

Natürlich, grundsätzlich ist es ja nicht schlecht.

Wenn wir alle weniger arbeiten müssten, wäre das toll.

Aber das Problem ist,

wie alles in unserer Welt,

in unserer Gesellschaft, wird sich

dieser Vorteil eben nicht proportional

auf uns alle verteilen.

Genauso wie sich das Geld nicht proportional...

Uns geht es ja viel, viel besser.

Wir verdienen alle viel, viel mehr Geld im Schnitt.

Aber das Geld verteilt sich leider

nicht proportional auf uns alle.

sondern nur auf sehr wenige

das heißt und genauso wird es natürlich

es ist eher naiv

anzunehmen, dass sich der Vorteil

aus weniger Arbeit und Automatisierung

auf einmal

schön gleich auf uns alle verteilt, dass wir da alle

was von haben, natürlich

und das ist auch was, was man nicht

was man sich bewusst machen muss

wenn man auch an diesen Technologien arbeitet

aber was man auch andererseits nicht

mit Technologie

magisch lösen kann

wie viele andere Probleme auch

Ja.

Das ist ein interessanter Bereich, da gibt es zum Beispiel auch eine Bibliothek, die auf Spacey aufbaut, die ein Entwickler, der eben auch Jurist ist, entwickelt hat.

Das ist auch etwas, was ich sehr toll finde, dass halt in unserem Bereich, da wir natürlich auch, wir wollen sicher gehen, dass auf Spacey relativ, zumindest der Einstieg leicht ist.

Es ist unglaublich leistungsstark, aber du kannst auf jeden Fall relativ einfach anfangen und das ermöglicht eben auch Leuten, die vielleicht aus einem anderen Bereich kommen, zu sagen,

cool, ich habe mir ein bisschen Programmieren beigebracht, ich möchte

jetzt anfangen, in dem Bereich zu arbeiten.

Da gibt es ein paar Pakete, die halt

Entwickler entwickelt haben

und eins davon nennt sich

Blackstone, das beschäftigt sich eben

mit juristischen Texten auf Englisch.

Erstmal.

Da kann man auch ganz spannende Sachen

machen. Ich glaube, es ist

leider halt nicht so einfach, dass

Juristensprache

ist halt so

kodiert, dass es eh

über die Bereiche ist.

Aber es gibt,

ich glaube tatsächlich, weil es halt so eine

Formel, weil es sehr

formulärisch ist, sagt man das so?

Formal,

formalisiert.

Irgendwie so.

Das war jetzt so ein

Anglizismus-Fail, also formulaic, wollte ich sagen.

Genau.

Egal, also es ist auf jeden Fall

sehr spannend, aber natürlich, was man so weit wie auch

im juristischen Bereich, du musst ja auch immer bedenken,

am Ende sitzt da ein Richter oder so,

in vielen Fällen

und trifft eine Entscheidung.

Und das ist auch eine Entscheidung basierend auf

einer menschlichen Interpretation.

Und

das steht ja nach wie vor am Ende.

Und klar,

man kann Technik nutzen,

um Fehler zu vermeiden.

Es gibt viele Dinge, wo

man sagen kann, okay, du hast ganz viele Dokumente,

die möchtest du

am Computer drüber lesen lassen, wenn da irgendein Problem ist,

wenn irgendwas anders ist,

wenn irgendwas verdächtig aussieht.

kannst du da halt nochmal Aufmerksamkeit

Ich glaube, der Algorithmus könnte

an der Stelle zum Beispiel relativ genau vorhersagen,

was so der Spielraum

realistischerweise denn ist.

Ich meine, man kann jetzt irgendwie in einem juristischen Kommentar

nachschlagen und gucken,

wie könnte denn der jeweilige Sachverhalt

interpretierbar sein und ich glaube,

sowas kann halt der Algorithmus auch recht gut.

Also ich meine, man könnte vielleicht

diese Recherche, die vielleicht

ein Jurist machen kann, aber man muss auch wieder

vorsichtig sein, denn am Ende, worauf basiert

dein Modell? Dein Modell basiert

vielleicht auf anderen Entscheidungen. Dein Modell kann vielleicht replizieren, was in der Vergangenheit

entschieden wurde. Ist das denn immer gut?

Das ist ja das Strafverkehrsrecht trainiert.

Ja, ich meine, es gibt ja so ein paar Sachen, über die man liest oder Anläsbereiche auch aus dem

rechts, auch aus dem behördlichen oder auch aus dem Bereich Strafverfolgung, zum Beispiel in den USA,

die einem da sehr Sorgen bereiten können

oder wo auch gewisse große

Technologiefirmen hingegangen sind und

versucht haben ihre künstliche Intelligenz

sehr aggressiv

zu vertreiben und dann Leuten zu erzählen

die ist 99,9%

korrekt oder so

was natürlich

schon allein wenn du sowas hörst, dann müssen die eigentlich

die Alarmglocken angehen, aber

Leute glauben das, weil ja

es ist halt künstliche Intelligenz und

dann soll

diese künstliche Intelligenz entscheidet dann halt, ob jemand auf Bewährung entlassen wird oder nicht.

Auf der Basis von, keine Ahnung, unklar, wird ja nicht gesagt,

aber angeblich 99,9% korrekt oder so.

Und da sind natürlich alle Entscheidungen, die

Menschen gemacht haben, inklusive jeglicher Voreingenommenheit,

ob gut oder ob schlecht, drin wiedergespiegelt.

Aber andererseits gibt den Menschen das schöne Gefühl,

und Jochen unterhalten sich über die Programmiersprache Python

Manches funktioniert ganz gut, manches halt nicht

Aber wo es gefährlich wird

ist, wenn

die Allgemeinheit glaubt, dass es funktioniert

Das ist viel, viel gefährlicher als so eine dystopische

KI-Zukunft, wo die Maschinen

alles super machen

und auf einmal super intelligent sind

Ja, wenn sie super intelligent sind, vielleicht machen sie es dann ja auch gut

Wer weiß

Aber auch wenn wirklich die Idee

zumindest diese Prämisse funktioniert

Was gefährlich ist

Du hast da ein System, was irgendjemand

so zusammengehackt hat mit allem möglichen

Zeugs, was so, was gar nicht

wirklich funktioniert.

Golden Age für gute Entwickler.

Die können ja einfach dann so tun, als haben die ein gewünschtes Ergebnis

und alle Leute glauben, was sie da erzählen.

Ja, genau. Das ist ein unglaublich

Beispiel, auch hier

historisch vielleicht ganz relevant,

auch so für uns.

Dann kommt jemand an und holt deinen Nachbarn ab,

weil das KI-System,

das 99,9%

korrekt legt, gesagt hat, dass der ein Terrorist

ist. Dann sagst du dir, ja,

Also du hoffentlich jetzt nicht, aber dann sagen sich viele Leute, ja gut, wenn das halt so ist, ist halt die Technologie, wenn die da, das ist ja 99,9 Prozent, das muss schon richtig sein. Und das ist sehr düster und das ist genauso düster, wenn das halt, was weiß ich, überhaupt nicht funktioniert und so ein komisches Modell ist, was man immer trainiert hat.

Ja, aber solche Modelle gibt es ja schon.

Wenn es halt gut genug funktioniert,

dass man es einsetzt,

aber einem dann halt egal ist,

dass es halt sehr ungerecht ist und man sich dann auch

nicht mehr dafür verantworten muss, weil es hat ja der Computer

entschieden, dass es schon, das ist halt so ein bisschen wie eben,

man geht zur Bank und die hat einem gesagt,

kein Kredit für dich heute.

Ja, halt eine Gruppeanscheidung,

wo du halt irgendwie so Bewegungen

getestet werden, wo du halt von oben

so Drohnen hast, die gucken, was du halt machst

und wenn du dich halt auf den Parkplatz setzt und halt dem Strom

nicht folgst oder sowas, dann gehst du halt direkt

in den Fokus desjenigen, der da guckt, was denn da los ist.

Weil könnte ja sein, dass da irgendwas nicht in Ordnung ist.

Ja, ich weiß gar nicht, wer das, von wem dieses Bild war,

aber im Grunde, wenn man Leuten vermitteln möchte,

was denn jetzt diese, was denn in Zukunft, wie das denn funktioniert,

dann fand ich das sehr hilfreich, sich das so vorzustellen,

dass man sagt, naja, so künstliche Intelligenz,

wir haben es im Grunde mit denen heute auch schon täglich zu tun,

so mit denen wir es dann in Zukunft zu tun kriegen,

und zwar Unternehmen oder Organisationen,

Behörden, die sind im Grunde schon

sowas. Die sind nur halt sehr viel

langsamer, aber im Grunde

sind die so und

man muss sich das nur vorstellen, die Dinger werden jetzt

halt richtig schnell. So, dann

hat man so eine Vorstellung, was da passieren

wird. Das ist eigentlich

eine ganz gute Analogie auch, weil

momentan auch so eine Behörde, okay, da hast

du entsprechende Regeln, entsprechende

Abläufe und das wird

halt reproduziert von Menschen,

die halt da sitzen am Schreibtisch.

Und am Ende

ein Computer kann das genauso machen,

natürlich, aber ohne...

Ohne

Rechtsweg. Rechtsweg ausgeschlossen.

Computer irrt mich.

Und natürlich

gibt es Dinge, die auch

natürlich

ein Vorteil sein werden.

Vor allem die interessanteren Sachen sind, wo

eine Maschine einen Menschen unterstützen kann.

oder wo zum Beispiel

eine Maschine auch nochmal

auf ein Röntgenbild drauf gucken kann

und vielleicht ein Röntgenbild nochmal

entsprechend hervorheben kann,

damit sich das nochmal

ein Arzt anguckt oder so.

Damit halt nichts übersehen wird.

Aber so muss man

meiner Meinung nach auch an die Dinge rangehen.

Wenn man sieht, ein neues System kann

Tumore erkennen,

kann genauso gut Tumore

erkennen wie ein Mensch oder so.

Das heißt ja erstmal,

Erstmal heißt das ja nicht, dass das System überhaupt besser ist als ein Mensch.

Das heißt, dass du das Datenset hast, mit dem das trainiert wurde,

und dann hast du die Vergleichsdaten, an denen das ausgewertet wird.

Und meistens, wenn du Menschen nochmal sowas auswerten lässt,

die Menschen sind ja auch nicht hundertprozentig genau.

Die Menschen kriegen dann manchmal so 90% hin oder so.

Und wenn du ein System hast, das auch 90% hinkriegt,

dann sagst du auch genauso gut wie ein Mensch.

und

in einer ganz bestimmten

Aufgabe.

Aber es ist ja nicht

in so einem Bereich, wenn du

das System einsetzt und das jetzt

ausschließlich

deine Röntgenbilder auswertet, das ist vielleicht nicht so geil.

Aber wenn das System vielleicht irgendwas sieht,

was ein Mensch übersehen hat,

warum nicht? Kann auf jeden Fall

sinnvoll sein.

Und im Bereich so gruseliger Anwendung

oder so negative Dinge.

Ich finde, worüber nicht genug geredet wird, ist so

Spam und Malware.

Weil das ist tatsächlich

schon sehr realistisch

und

das ist viel destruktiver

als jetzt diese Idee, uh, werden uns

die Maschinen versklaven.

Ja. Oder

wahrscheinlich eher andere Menschen, die

Maschinen benutzen, um uns zu versklaven.

Die haben halt eine Intention,

die Maschinen gar nicht so.

Ja, ich glaube, das ist

viel nähere und realistischere

Probleme,

die wir uns stellen müssen.

Wo sich auch, glaube ich, jeder Entwickler fragen muss,

okay, was mache ich hier?

Wozu trage ich hier bei?

Ist das gut oder

schlecht?

Und ich glaube, das kann man nicht unbedingt

voneinander trennen.

Ich glaube, man kann da nicht sitzen

in seinem Vakuum und sagen, oh, ist mir egal, ich schreibe nur Code.

Ja, man kann auch relativ wenig

gegen machen. Selbst wenn man jetzt irgendwie vernünftige

für Lizenzbedingungen nimmt, ob man da irgendwie dann sich aus dem Schein da ist, das ist schwierig.

Ja, das ist auch das, wo wir uns Gedanken machen müssen, okay, wenn wir jetzt zum Beispiel

mehr Funktionalitäten für bestimmte Sprachen zur Verfügung stellen,

wer benutzt das?

Und okay, wir machen das öffentlich verfügbar, Open Source.

Wie viele Menschen gibt es, die diese Sprache sprechen? Welche Regierungen gibt es?

Gibt es da Problematiken, wo die Regierung vielleicht

und Jochen unterhalten sich über die Programmiersprache Python

und wie wir uns in unserem Alltag Gedanken drüber machen müssen.

Und auch vor allem, okay, so eine Bibliothek wie Spacey ist sehr verbreitet,

es ist sehr beliebt, viele Leute benutzen das.

Zwei Millionen Downloads pro Monat gehen irgendwo raus an irgendwelche Systeme

und an irgendwelche Server und Dinge, die Leute damit machen.

und in irgendwelche

tausende Firmen, die damit auch Dinge machen

und wer weiß wohin noch.

Ja, es ist schwierig.

Ich bin nach wie vor Verkächter von

Open Source und ich glaube Open Source als

einerseits natürlich als

Software-Modell, aber eben auch als

und natürlich andererseits muss man auch sagen als

Geschäftsmodell. Das ist ja eine

Open Source ist ja

auch weiter und weiter

verbreitet als

Softwarevertrieb

quasi. Das ist ja auch eine Realität

der Open Source Software.

Irgendwie

tatsächlich hat sich das so

durchgesetzt irgendwie.

Ich erinnere mich noch an

die Halloween Papers 1997

von Microsoft,

wo sie geschrieben haben, oh nein, das wird uns

irgendwann umbringen langfristig.

Das ist tatsächlich passiert, sehr gut.

Aber auf der anderen Seite, Microsoft heute ist auch wieder

Microsoft ist einer der Vorreiter.

im Bereich Open Source.

Hätte ich mir damals nicht träumen lassen,

aber es ist tatsächlich passiert.

Was interessant ist, finde ich,

auch da im Bereich Open Source ist,

ich glaube, es wird oft missverstanden, Leute denken,

Open Source ist verbreitet,

weil es gratis ist. Natürlich,

die Tatsache, dass es halt

meist frei verfügbar ist,

ist auf jeden Fall ein Aspekt

im kommerziellen Bereich

oder was Firmen angeht.

Die Tatsache, dass es gratis

ist, ist nicht unbedingt der Knackpunkt.

der Knackpunkt ist, dass es offen ist

und dass man

damit programmieren kann, der Code

ist da und wenn du diese Entwicklertools

hast, die eben auch Open Source sind

also Open Source Bibliotheken

zur Verfügung gestellt wird

und die Tatsache, dass du

nicht auf eine

Lösung festlegst oder auf einen

Anbieter festlegen musst

und dass du dich da nicht

einschließen lässt

und diese Autonomie bewahrst, ich glaube

und das ist in der Praxis tatsächlich, was für Firmen deutlich entscheidender ist als die Tatsache, dass es

0 Euro kostet. Denn es kostet ja in der Praxis nicht 0 Euro

mit einer Open-Source-Bibliothek was zu entwickeln.

Und da ist wieder unglaublich viel Geld rein investiert in vor allem

KI, Machine Learning, die entsprechenden Entwicklungen. Das sind top bezahlte Entwickler.

Weswegen auch zum Beispiel Entwicklertools und

Developer Experience und Tools, die halt sowas fördern

und einfach die Entwickler produktiver machen,

einen großen Einfluss haben können.

Weil cool, wenn dein top bezahlter

Machine Learning Entwickler

ein bisschen weniger rumsitzen muss

und

stupide Arbeit machen muss und einfach

besser arbeiten kann, ist das

natürlich besser für alle.

Lohnt sich auf jeden Fall, aber ich weiß nicht genau.

Ich habe doch häufig das Gefühl, dass es da so ein gewisses

Marktversagen gibt irgendwie, weil

wenn man sich zum Beispiel

sowas anguckt wie Pandas oder

oder Django oder Spaces weiß ich jetzt gar nicht genau, aber so halt Software, die halt als Infrastruktur unter ganz, ganz vielen Produkten und bei ganz, ganz vielen Firmen sozusagen darunter liegt, dann müsste man ja jetzt meinen, so rein aus so einem, gut, ich habe jetzt nicht so wirklich Ahnung von Ökonomie, aber so, dann wäre es doch für große Firmen allein schon aus so einem Versicherungsaspekt sinnvoll, die Projekte zu unterstützen, damit ihnen nicht plötzlich die Infrastruktur unter den Füßen wegbricht.

Ja, aber das...

Tatsächlich ist es aber so, dass kaum Firmen das machen.

Das liegt daran, dass die Informationsasymmetrie nicht zu irgendwelchen kompetenteren

oder Entscheidungsträgern durchdringend die Budgetverantwortung haben.

Die wollen halt irgendwie Sachen, Projekte bekommen und die Projektmanager,

die halt dann die Projekte bestellen oder bezahlen,

die haben vielleicht schon mal von ihren Entwicklern irgendwie so ein bisschen was von oben zugehört,

das irgendwie sinnvoll wäre, aber dann eine Ebene weiter oben sagen dann ganz viele einfach so,

ja, nee, aber das bringt uns das irgendwas, das sind die nicht so, das ist schwer.

Ja, aber so eine Idee, eigentlich.

Also ich meine, es gibt ja verschiedene Versuche, das irgendwie zu lösen.

Es ist immer ein bisschen problematisch.

Es ist halt nicht einfach.

Und ich glaube auch, einerseits, man sieht schon, es ändert sich was, auch in großen Firmen.

Denn dieses Klischee vom alten Manager, der irgendwie kaum Computererfahrung hat,

das stirbt ja langsam aus.

Du hast ja Leute im Management, die sind in ihren 40ern, die programmieren seit ihrer Jugend.

Das ist jetzt nicht mehr seltsam.

und eben auch diese Idee von so einem dummen Management, das irgendwie keine Ahnung hat.

Gibt es immer noch, natürlich, aber in vielen Bereichen hast du halt Leute, die kennen sich aus mit Technik.

Und denen kannst du auch nicht mehr irgendwelchen Schwachsinn andrehen unbedingt.

Und die haben da auch Meinungen zu, zum gewissen Grad.

Aber ich glaube, mit Open Source, ein Problem ist, es gibt ja keine wirkliche,

es ist ja alles nicht wirklich standardisiert.

Es gibt verschiedene Projekte, die aus den verschiedenen Motivationen heraus entstehen.

und manche

sind natürlich jetzt mittlerweile

gefördert von der Stiftung, das ist ja die

Tatsache für viele dieser Scientific Computing

Geschichten auch

im Python-Ökosystem

und dann gibt es aber andere Projekte, okay, das ist halt

irgendjemand hat das mal entwickelt, der hatte da Spaß dran,

das wurde

populär und

ja, jetzt

sitzt da jemand mit einem erfolgreichen Projekt

und aber kein

nicht unbedingt im direkten

Pfad zu

zu, ja, etwas kommerziell draus.

Das kann man ja auch dem Entwickler

nicht unbedingt anlasten.

Sagen, okay, gut,

das ist halt

nun mal so und auch, okay, die Firmen,

was willst du da machen?

Es kommt halt immer darauf an, auch auf die

Motivation, die zu einem Open-Source-Projekt führt.

Es gibt andere Projekte, wo

Firmen, Entwickler

speziell gesagt haben, okay, cool, ich entwickle das

und ich habe eine Motivation,

dass da entweder, wenn das populär wird

kann ich das für meine Karriere nutzen

gibt es ja auch viele Entwickler

die sagen, hey

da kriege ich einen besseren Job, funktioniert ja auch oft

oder in unserem Bereich, wir haben es ja auch

die Idee war immer, dass wir wollen

eine Firma gründen

und wir wollen

etwas machen in dem Bereich und in diesem Bereich

arbeiten und die Tatsache, okay

Spacey ist Open Source und das ist auch

strategisch so

und das ist uns sehr wichtig, aber

und das ist eben natürlich auch Teil

unserer generellen Strategie und wir sagen, okay, wir bauen,

wir machen jetzt nicht so ein Open-Core-Ding, wo du halt für

bestimmte Features zahlen musst, sondern

wir sagen, hey, hier ist unsere

Open-Source-Bibliothek, die ist gut,

du kannst sie testen, du kannst damit Dinge

bauen, wir geben sie dir

gratis, weil wir auch glauben, okay,

das, wo der meiste Wert drinsteckt, sind

die Daten, das ist nicht unbedingt, oder deine speziellen

Daten, die man auch gar nicht unbedingt so verkaufen kann,

den Algorithmus und die Bibliothek geben wir dir gratis und wenn du unsere Sachen gut findest und damit Dinge baust haben wir andere Produkte die dir auch gefallen w wenn du ein Spacey bist zum Beispiel Wenn jetzt deine Firma

ein System auf Spacey aufbaut,

dann willst du meistens auch deine Systeme

trainieren und dann willst du Daten sammeln

und dann hast

du vielleicht auch Interesse an Prodigy und

anderen Dingen, die wir darauf aufbauen.

Kann Spacey Emotionen

erkennen?

Ja, klar.

Das ist eine allgemeine Frage.

Das ist erstmal meine Antwort.

Nein, Gott.

Das ist halt sehr aufgeladene

Emotionen, ist halt auch immer

sehr abstrakt.

Und es ist auch

etwas, was sich nicht sehr gut

generalisieren lässt. Du kannst natürlich

sagen, du kannst bestimmt ein System

trainieren auf der Basis

von entsprechenden Wörtern,

Ausdrücken, wie Dinge

präsentiert sind.

vorher zu sagen,

in welche emotionale

Richtung ein Text geht. Ist ja auch sowas wie

Sentiment Analysis, ist ja auch ein Thema, was

sehr verbreitet ist,

wo die Idee ist,

wie steht

der Sprecher zu einem

bestimmten Thema, meistens natürlich in der

Marktforschung oder wer jetzt eine Marke

Coca-Cola möchte wissen, wie Leute

über Coca-Cola reden oder keine Ahnung.

Aber

was ich sehr kritisch finde, sind

diese

General Purpose Modelle,

die auch teilweise viele Cloud Services

anbieten, die sagen, oh, hier ist Sentiment Analysis

für alles. Denn

selbst ob was positiv oder negativ

ist oder welche Emotionen

hinter einem etwas

steht, selbst wenn du es messen könntest,

ist unglaublich subjektiv

und unglaublich themenspezifisch.

Also

ein Beispiel, was ich zum Beispiel, glaube ich, in meinen

Talks manchmal verwende, ist,

Du hast zwei Sätze. Ich liebe Katzen und ich hasse Katzen.

Sind diese zwei Sätze ähnlich oder nicht ähnlich?

Und teilweise frage ich, okay, kannst du auch gut Publikum fragen und meistens hast du so vielleicht so 50-50.

Und für beides kannst du begründen.

Wenn ich jetzt generell Text analysiere, relativ zu allem, was ich in der Sprache, in der deutschen Sprache sagen könnte, ist es unglaublich ähnlich.

Zwei Sätze, die kurz sind und meine Haltung gegenüber Katzen ausdrücken.

das ist unglaublich ähnlich, unglaublich speziell

im Vergleich zu allem anderen, was ich hätte sagen können

aber

wenn du jetzt, was weiß ich, eine

Dating-App entwickelst und du möchtest

irgendwie gucken, ob zwei Leute

aufgrund ihrer Profile zueinander passen

möchtest du das unglaublich

ja, möchtest du

das als sehr unähnlich ansehen

weil, ja

ein Katzenhasser und ein Katzenliebhaber

passen wahrscheinlich nicht zusammen, das ist komplett

polare Unterschiede

und so ist es auch mit

eigentlich sehr, sehr vielen anderen

Dingen,

die man vorhersagen kann

mit Hilfe von Machine Learning.

Und eben auch Sentiment

und Emotionen.

Und ja.

Ich finde, es vermittelt auch so ein bisschen das falsche

Bild eben zu sagen, oh, wir können das jetzt mit

einem vortrainierten Modell lösen.

Du kannst das lösen, wenn du es eben

wirklich speziell zuschneidest auf das,

was du machst.

Also ob der Nachrichteninformationswert

positiv oder negativ ist, kriege ich dann für das jeweilige Unterfach...

Hängt davon ab, wenn ich jetzt zum Beispiel

auf was ich spekuliere, wenn ich jetzt zum Beispiel Gewinn daraus ziehen möchte, wie sich der Kurs

in Zukunft von irgendeinem Unternehmen entwickelt, dann spielt es halt eine Rolle, ob ich jetzt

irgendwie long sozusagen gehe oder ob ich das Ding short sellen möchte

und es kann halt für mich irgendwie unter Umständen eine sehr gute

Nachricht sein, wenn Privatanleger in Gangstab-Aktien jetzt plötzlich reingehen

oder hat er schlecht gemacht.

Das Beispiel ist eigentlich auch ganz gut,

weil das illustriert auch so ein bisschen,

was man mit Machine Learning gut lösen kann

und was eben zum Beispiel nicht.

Also wir hatten, glaube ich, mal ein Beispiel,

wo jemand versucht hat, auch,

ich glaube, es ging so um so Supply Chain Risk und Management,

das ist auch sowas, klingt ein bisschen öde,

aber ist tatsächlich was, was viel wert ist,

wenn du eben sagst, okay, du hast jetzt hier einen Händler in China,

von dem beziehst du Waren, mit denen du dann irgendwas machst

und dann hast du hier jemanden in Russland

und die importieren

aber von da und da und du möchtest dann wissen,

wenn jetzt da und da

ein Streik ist oder hier

irgendwie ein Schiff untergeht oder so,

wird das in der

Zukunft zum Beispiel

dein

Unternehmen beeinflussen oder so.

Und das kannst du zum Beispiel,

ein Teil davon ist, du möchtest dann

Nachrichten analysieren und gucken, was ist los.

Es kann ja sein, in irgendeinem

kleinen Ort

in was weiß ich wo, wo jetzt zufällig gerade irgendwas hergestellt wird.

Ja, wenn die Nachrichtenkategorie Emotionen katastrophal werden würde,

möchtest du das für den lokalen Ort dann wissen?

Ja, oder irgendwie da und da passiert was, das möchtest du wissen und dann irgendwie zusammenhören.

Und genau, es gab irgendeinen so ähnlichen Fall war das.

Und es ging einem auch darum, die Firma wollte herausfinden,

okay, was ist jetzt gut für ihr Unternehmen?

Und das ist natürlich so unglaublich abstrakt.

Und der erste Schritt war, okay, die haben dann Trainingsdaten erstellt,

wo sie alles was gut für ihr Unternehmen ist hervorgehoben haben

inklusive Sachen die komplett abstrakt waren

oder Dinge die schlecht sind für das eigene Unternehmen

wenn dein Konkurrent

irgendwas auf den Markt bringt oder so

ist das schlecht für dich

und das weißt du

das ist aber was du nicht unbedingt einem Modell

auf Basis des lokalen Kontexts beibringen kannst

und dein Modell wird nicht unbedingt in der Lage sein,

so zu generalisieren und zu wissen,

die und die Firma ist dein Konkurrent

und die Tatsache, dass die ein Produkt veröffentlichen, ist schlecht.

Aber die Tatsache, dass vielleicht dein Lieferant was veröffentlicht, ist gut.

So funktioniert das einfach nicht.

Das wird auch ein bisschen klarer, wenn du dir überlegst,

wie funktioniert das Modell und auf welcher Basis trifft das diese Vorhersagen?

Was guckt sich das an? Worauf basiert das?

und wie wird quasi die Information da inkludiert.

Und da geht es dann wieder zurück in so, okay, wie breche ich das runter?

Oder okay, du kannst sagen, ich möchte ein Modell trainieren,

das Kleidung für Erwachsene, Kleidung für Kinder,

Kleidung für alte Leute oder so erkennen kann und entsprechend ordnet.

funktioniert wahrscheinlich nicht so gut,

wie wenn du sagst, oh, ich möchte

nur generell Kleidung erkennen

und hab dann andere Prozesse, die das so ein bisschen

weiter runterbrechen, denn der Kontext

gibt da oft nicht so viel her

und viel benötigt unglaublich viel

Wissen und

ist noch nicht mal so eindeutig.

Katastrophale

Beispiele waren immer sowas,

aus einer Sicht

von einem Redakteur sozusagen, oder

wie man das

verkaufen möchte, macht das durchaus Sinn, dass man

Handys mit und ohne Vertrag in zwei unterschiedliche

Kategorien packt, aus Sicht von

Machine Learning ist das scheiße, weil

das funktioniert einfach nicht richtig.

Genau, sowas, wo, okay, gut,

das kannst du dann vielleicht später machen, oder du hast

eine Datenbank, wo du diese Information abrufst,

aber, und selbst wenn

es neuere

Modelle, Architekturen und

eben auch vielleicht

vortrainierte Gewichtungen gibt, die das eben

vereinfachen,

ist immer noch die Frage, okay, willst du das tatsächlich

so lösen. Du kannst dein Problem unglaublich

komplex formulieren,

quasi von der

Machine Learning Sicht,

dann da so ein richtig krasses Modell

draufschmeißen, das dann

auf krassen Hochleistungsrechnern

laufen lassen und damit ganz gute

Resultate erzielen, wenn du vielleicht,

wenn es eigentlich vielleicht viel einfacher gewesen wäre,

das einfach ein bisschen besser

zu strukturieren oder ein bisschen

logischer runterzubrechen.

Auch die Tatsache, dass gewisse Dinge

jetzt möglich sind, heißt nicht unbedingt,

und Jochen unterhalten sich über die Programmiersprache Python

Ja, ja, ja, aber im Grunde so ein bisschen eben dieses Modell bei Spacey klang für mich auch so nach dem, das ist ja auch ein Modell, das viele, viele Open-Source-Projekte oder viele Leute, die dann mal ein Open-Source-Projekt, das dann erfolgreich geworden ist, gestartet haben, womit sie dann Geld verdienen, halt sozusagen so ein bisschen Consulting.

also es ist bei Space ein bisschen anders mit dem

Annotationstool, aber es ist halt auch im Grunde

so Dienstleistungen um

das Open Source Projekt

herum quasi.

Ja, also generell

eine Sache, also wir haben

anfangs mal ein bisschen Consulting gemacht, vielleicht

dann haben wir uns hauptsächlich auf

Produkte spezialisiert, vielleicht

machen wir in Zukunft mal ein bisschen mehr, weil es eigentlich immer ganz cool

ist, auch so ein bisschen die Connection

zu haben zu den Nutzern, aber

ja, eine Sache, die uns immer ganz wichtig war,

war Support,

finde ich immer bei vielen

Dingen ein bisschen kritisch. Also es gibt Dinge

so Infrastruktur oder so.

Ja gut, da braucht es, da macht es Sinn, jemanden

zu haben, dem du bezahlst, der dir das dann alles

einrichtet. Aber bei anderen

Tools, vor allem Entwicklertools,

wir möchten ja, dass

das Tool auch wirklich benutzt wird.

Es ist gut für uns, wenn natürlich Leute

unsere Open-Source-Tools benutzen.

Aber wenn jetzt unser Hauptgeschäftszweig

Support ist, bedeutet das

natürlich, dass wir mehr verdienen, wenn Leute mehr Support brauchen. Aber natürlich,

wenn Leute mehr Support brauchen, dann verdienen wir aber auch andererseits weniger, weil es dann

natürlich viel weniger Leute das Ding nutzen. Und ich finde das ist mal ein ganz komischer Kreislauf,

der meiner Meinung nach nicht so gut funktioniert

für viele Entwicklertools. Aber natürlich, Dinge

drumherum, Open Source ist ja auch eine gute Art und Weise zu zeigen, hey, wir können

gute Software bauen. Also wenn man das

und wenn man es strategisch

so angeht, kann es gut sein. Also ich bin jetzt nicht der

Verfechter, der sagt, oh, jeder sollte jetzt hier

seine ganze Freizeit mit Open-Source-Projekten

verdienen und quasi

gratis für Firmen

arbeiten. Aber

es ist durchaus so, dass man es auch

strategisch angehen kann und

das auch ein Pfad sein kann,

erfolgreich

zu sein und auch was zu machen, was vielleicht

einem Spaß macht.

Im Prinzip ist das ja super, genau.

und Jochen unterhalten sich über die Programmiersprache Python

entweder, ja, ich

hab ein Obsoles-Projekt, ich möchte, ich sage

Leuten, hey, benutzt das. Das ist ja auch so eine Sache.

Okay, sagst du Leuten, mein Projekt ist

geil, benutzt das, ihr solltet da alles drauf aufbauen

oder sagst du, oh, das ist nur so ein

Nobby-Projekt, ich hab meinen Code einfach veröffentlicht

und wenn jemand anders das nützlich

findet, benutzt es gerne.

Oder dieses ein bisschen oldschooligere Modell,

wir bauen was zusammen.

Das sind so für mich die drei

Arten von Open Source. Einmal, okay,

ich hab was gebaut, wenn jemand,

ich gebe es dir umsonst, wenn du Lust hast,

vielleicht findest du es ja nützlich, oder

wir bauen als Community, entwickeln wir

was gemeinsam, oder wir

haben ein Produkt entwickelt und wir geben es euch umsonst.

Und

ich glaube, davon hängt es halt

auch ab, wie die Erwartungen,

die man als Nutzer haben sollte an das Projekt.

Und ich glaube, das wird halt auch oft nicht

offen kommuniziert.

Und das ist, wo viele der Missverständnis

passieren,

wenn man eben ein

so ein persönliches Projekt betrachtet wie ein kommerzielles Projekt oder ein kommerzielles Projekt

betrachtet wie so ein Community.

Oder wenn die Nutzer oder die Maintainer gar nicht sicher sind, was sie überhaupt sind.

Das hört man dann immer von, das ist halt genau dann wahrscheinlich dieser Mismatch, dass dann die Nutzer denken,

es ist ein Produkt, wo sie dann Support einfordern können und die Maintainer denken,

warum, andere Leute haben Freizeit, warum habe ich eigentlich keine, warum sitze ich

immer, muss irgendwie kostenlos Dienstleistungen für Leute machen,

die Begleitung zu bezahlen.

Ja, und das ist ja auch von vielen Firmen oder von den Nutzern,

das ist ja nicht unbedingt immer der Respekt da, zu sagen,

oh ja, das macht jetzt jemand in seiner Freizeit.

Sondern, ja nö, ich brauche Support.

Und in manchen Sachen, okay, wenn man halt

Möglichkeiten schafft, die Maintainer zu

bezahlen, kann das gut sein. Auch so GitHub hat ja

GitHub-Sponsors und es gibt andere Möglichkeiten.

Aber kann auch in manchen

Situationen problematisch sein, wenn du

halt, vor allem, es geht ja nicht immer

um diese riesen Beträge. Wenn du jetzt ein kleiner

Entwickler bist, du sagst, hey, du hast so ein Hobbyprojekt,

und das hat auf einmal ein bisschen an Popularität

gewonnen, das benutzen ein paar

Firmen und die zahlen dir jetzt

5 Euro im Monat.

Davon wirst du nicht

unbedingt reich und das

zahlt dir jetzt auch nicht

unbedingt die Zeit, die du da rein investierst.

Aber auf einmal sind diese Firmen jetzt nicht nur

irgendwelche nervigen User

auf deinem Issue-Tracker, das sind jetzt deine Kunden quasi

oder die fühlen sich zumindest so.

Ob das jemand die Anforderung stellen

kann an dich, weil der dir 5 Euro zahlt, ist eine andere

Aber die fühlen sich, als wären sie deine Kunden und sagen, wenn die jetzt diesen Bug nicht fixen bis morgen, dann ziehe ich aber hier mein Sponsorship zurück.

Das ist jetzt nicht so das Allheilmittel, das kann auch, glaube ich, durchaus Dinge noch komplizierter machen.

Also ich habe jetzt keine Lösung dafür.

Nö, es gibt wahrscheinlich keine einfach Lösung dafür.

Ja.

Tja.

Ich bin der Meinung, dass

Open Source

quasi

dass zum Beispiel

Open Source staatlich gefördert werden sollte.

Also zumindest, oder wenn wir

in so einem System sind wie in Deutschland,

finde ich, dass die Bundesregierung

sollte

finanzielle Mittel zur Verfügung stellen, die eben

tatsächlich in die Open Source

Entwicklung fließen sollen.

oder wir sollten quasi

Open Source als

Common Good angehen.

Mit der Gießkanne oder kuratiert?

Das ist halt eine Frage.

Das Problem ist halt auch, okay, momentan,

wenn du dir das anguckst, okay, was wird so entwickelt,

wer bekommt Zuschläge für

die Entwicklung von was und wie funktioniert das am Ende

und wie sieht das denn aus?

Also ich finde,

ich glaube schon,

ich glaube,

eine Lösung, wo

da jemand sitzt, der

der Open-Source-Minister sitzt und sich die Open-Source-Projekte aussucht, finde ich auch problematisch.

Ich glaube nicht, dass das etwas ist, was wir möchten.

Ich kann mir auch momentan keinen Open-Source-Minister vorstellen.

Es gibt nur sehr wenige politisch aktive Menschen, die ich momentan vorstellen könnte als Open-Source-Minister.

Andi, schau ja nicht über Impftags-Force jetzt. Schade, der wäre doch gut geeignet gewesen.

Ja, ich hätte jetzt vor, du hast dann so ein

Äquivalent von Horst Seehofer

als Ops-Source-Minister.

Ich glaube, das wollen wir alle nicht.

Aber

wie gesagt, ich habe jetzt noch kein

politisches Programm ausgearbeitet,

das ich hier präsentieren möchte, aber ich glaube,

das ist auf jeden Fall eine Richtung,

die ich

Ich weiß nicht, ich hätte mal überlegt,

das wäre doch ziemlich

einfach, zumindest mal die Anforderungen

von irgendwelchen öffentlichen,

größeren Projekten reinzuschreiben, dass halt selbstverständlich, wenn das halt mit öffentlichen Mitteln finanziert wird,

auch dann als Infrastruktur wieder zurück an die Öffentlichkeit

geht. Aber ja, keine Ahnung.

Ja, das würde ich auch unterstützen. Ich kann mir auch gut vorstellen, warum die das

nicht möchten.

Ja, klar, dass die Auftragnehmer das nicht möchten, das kann ich mir auch gut vorstellen.

Ich könnte mir auch vorstellen, die jetzt vor manche dieser öffentlich finanzierten Projekte,

auch die man dann so nur als Nutzer mal zu sehen kriegt, wenn man mit denen interagiert.

Achso, ja.

Oder so was jetzt zum Beispiel, auch selbst so eine App oder irgendein Portal, irgendwas wird entwickelt,

da wird ordentlich viel Geld reingegeben und okay, es gibt auf jeden Fall ein Argument zu sagen,

das sollte Open Source sein, damit wir das auch sehen können.

Zumindest jetzt nicht die ganze kritische Infrastruktur oder so, aber grob, okay, wie funktioniert das?

was ist da hinter?

Oder vielleicht ein paar Details.

Okay, wenn die jetzt irgendwelche Modelle trainieren,

dann wäre es schon gut,

ein bisschen mehr

Informationen dazu zu haben, was da jetzt reinfließt.

So wäre das gebaut.

Sind da überhaupt diese ganzen Fragen, die man eigentlich mal

berücksichtigen sollte, sind die denn berücksichtigt worden?

Hat da sich jemand drüber nachgedacht?

Ja, wahrscheinlich nicht.

Das wäre schon gut.

Aber ich glaube,

es geht da auch

ein ganz neues Genre an

Technikjournalisten,

die sich wahrscheinlich den ganzen Tag damit beschäftigen könnten,

die Open-Source-Projekte,

die staatlich geförderten Open-Source-Projekte auseinanderzunehmen

und zu analysieren.

Was ja auch nicht schlecht wäre.

Aber ich meine, es gibt halt,

wenn man sich so Machine Learning anguckt,

es gibt ja nicht wirklich Standards,

die man anbringen könnte.

Und es ist ja auch schwierig.

und Jochen unterhalten sich über die Programmiersprache Python

Weißleihe sagen, relativ klarer Fall, okay, das geht natürlich nicht, wenn jetzt die Daten nicht verfügbar sind.

Da geht es über andere Sachen, wo du, okay, nur wie abstrakt

sollten diese Gewichtungen sein, die du trainierst,

um halt das Argument machen zu können, das repliziert jetzt nicht unbedingt

die Originaldaten. Kann man das überhaupt sagen?

Ja, das ist halt immer die Karte.

Wenn jetzt Instagram oder Facebook sagt, wir trainieren jetzt unsere Modelle anhand von

Profilbildern unserer Nutzer.

Geht das? Geht das nicht? Können die das dann

verwenden? Kannst du einfach das Internet

scrapen und

dann dein Modell

veröffentlichen, das dann alle möglichen Firmen benutzen?

Und wenn irgendwas ist,

wer ist schuld? Du? Die Firmen?

Das sind alles

Fragen, die haben...

Da kann man sich drüber auslassen.

Wie gesagt, ich bin blei.

Ich habe da nur Meinungen oder Ideen

zu, aber auch da kommt es ja gar nicht

an. Es ist am Ende, es gibt ja keine, es gibt kaum Entscheidungen dazu, es gibt kaum Fakten dazu.

Es ist halt, du musst halt gucken.

Naja, das wird noch eine ganze Zeit lang dauern, bis das einigermaßen...

Bis das überhaupt jemand da irgendwo verstanden hat.

Ja, das wird erstmal ein bisschen...

So diese Trolley-Probleme von wegen hier, okay, wer ist schuld, wenn das selbstfahrende Auto

einen Menschen überfährt? Das gab es ja schon.

So, wer ist da schuld?

die Firma, die das Auto hergestellt hat

die Person, der das Auto gehört

der Entwickler, der

dieses Modell trainiert hat

der

die Person, die

auf Mechanical Turk für 3 Dollar

die Stunde

das falsch gelabelt hat

das falsch gelabelt hat

ja

ja

auf jeden Fall interessante Fragen

Ja, ich denke, der Weg zu sinnvollen und so Common Sense irgendwie Umgang damit im Alltag wird gepflastert sein mit einem Haufen Fehlentscheidungen, absurden Situationen und komischen...

Wie bei allem, ja.

Ja.

Das ist auch ein entspannender Ausblick in die Zukunft.

und ja, es ist

alles nicht

ganz schlecht, es ist alles nicht

super schön. Ja, ich finde solche Sachen

sehr wertvoll.

Schön, dass wir mal drüber geredet haben.

Nein, wirklich, was ich

jetzt da geschrieben habe, ist etwas, was uns

irgendwie weiterbringt.

Es hilft dabei, so Gefühle vorzukriegen.

Ja, auf jeden Fall.

Ich habe immer die Hoffnung, dass das

irgendwann besser wird und nicht schlechter.

Ja. Also objektiv betrachtet

ist es ja auch. Dinge werden ja besser.

Also natürlich ist es immer,

man hat das subjektive Empfinden und es

gibt natürlich andere Probleme, auch wenn du

okay, wenn du

der Gesellschaft es besser geht,

auch dem Einzelnen geht es ja

besser, wenn du so

generell den Stand der Welt

dir anschaust. Sagst, okay, haben wir

wie viele

Menschen haben wir, die unter der Armutsgrenze leben?

Aber natürlich ist das nicht die einzige

Art und Weise, wie du sowas

quantifizieren kannst. Ja, vor 100

und haben die Leute Menschen auf dem Zoo ausgestellt.

Das ist halt einfach, ja.

Ja, natürlich. Oder die Lebenserwartung,

der generelle Lebensstandard ist

natürlich besser, aber das heißt ja eben auch nicht, dass man

sagen kann, ach ja, ist ja alles super, im Schnitt

geht es allen besser. Oder, oh,

du bist weniger arm als vorher, bist aber immer noch

arm. Also,

das ist ja nach wie vor ein Problem.

Und wir haben, wir, wir,

ja, denken uns auch immer neue

Probleme aus. Ja,

es eskaliert natürlich auch an einigen Stellen immer völlig.

und Jochen unterhalten sich über die Programmiersprache Python

Fortschritte haben die

aus sich heraus schon so

in sich

emanzipatorisches Potenzial oder sind sie

doch dann nur dazu, dass Leute irgendwie

noch reicher werden, die vorher schon relativ reich waren?

Schwer. Also ich meine,

was man vielleicht sagen kann,

ist, dass in Zeiten, in denen sich viel ändert,

gibt es halt auch mehr Chancen für Leute, die halt

sozusagen was machen möchten.

Oder wir nehmen die Antwort, die wir immer geben können,

it depends.

Ja, stimmt.

Deutschland läuft.