Transcript: Natural Language Processing mit spaCy

Hallo liebe Hörerinnen und Hörer, willkommen im Paisen-Podcast, heute in einer Jubiläumsepisode und zwar Episode Nummer 30.

Natürlich sind wir wieder mit dem Jochen da und ich bin der Dominik.

Hallo Dominik.

Und heute haben wir auch einen besonderen Gast und das ist die Ines.

Ja, hallo Ines.

Ja, wollen wir die Ines mal vorstellen, Jochen?

Ja, normalerweise, genau, sagen wir Leuten immer, sie sollen sich selber vorstellen, aber ja, vielleicht ist es ja auch gar nicht so schlecht, wenn wir das machen.

Ich habe irgendwo gelesen, dass es besser ankommt, wenn man von jemand anders vorgestellt wird.

Aber das kommt wahrscheinlich darauf an, von wem man vorgestellt wird. Das tut mir jetzt sehr leid, dass ich das will.

Ines ist Explosion, also wer ist Ines?

Genau, also wir kamen drauf, weil ich von einem Hörer eine Mail bekommen habe, der sich dafür interessierte, irgendwie ein bisschen mehr über Machine Learning, Natural Language Processing, beziehungsweise halt Spacey zu hören.

Und da dachte ich so, oh ja,

das stimmt, das wollte

ich doch auch selber schon immer mal gerne

machen und habe dann halt irgendeine Mail

an Ines geschrieben. Und Ines, du hast was mit

Spacey zu tun? Und genau,

ja.

Ines Nick.

Wir bei Explosion,

wir entwickeln Spacey,

eine Open-Source-Bibliothek für

Natural Language Processing in

Python. Und daran arbeiten

wir, daran arbeite ich seit

ein paar Jahren und

Und ja, damit verbringe ich auch einen Großteil meiner Zeit und wir entwickeln auch andere Produkte und Tools hauptsächlich für Softwareentwickler, die mit Machine Learning und vor allem auch mit NLP arbeiten.

Also quasi, ja, wir entwickeln Software für Softwareentwickler, um quasi den Alltag ein bisschen schöner und produktiver zu gestalten.

Das hört sich spannend an. Ich würde vielleicht vorstellen, dass wir so ein bisschen mit einer Einleitung anfangen für Menschen, die uns noch nicht so folgen können, weil die vielleicht im Thema noch nicht ganz so tief drin sind. Vielleicht nochmal so ganz kurz die Begrifflichkeiten klären. Was ist denn jetzt überhaupt so das NLP und was macht man damit und was für Features würde man denn sowas wie Spacey machen wollen und sowas vielleicht?

Ja, also grundsätzlich die Idee ist, wir als Menschen produzieren unglaublich viel Text und wir produzieren Text viel, viel schneller, als dass Computer schneller und effizienter werden. Das Internet ist voll mit Text, alles ist Text und wenn wir viel Text haben, kommen wir irgendwann an einen Punkt, wo wir einfach ein bisschen mehr über diesen Text herausfinden möchten.

Zum Beispiel, ja, und auch weiter, was ein bisschen über Stichwortsuche oder reguläre Ausdrücke hinausgeht.

Also du möchtest zum Beispiel wissen, wer macht was, wer ist das Subjekt, wer ist das Objekt, was für Personen kommen vor, was für Firmen, was für Konzepte, worum geht's hier, worum geht's hier nicht und so weiter.

Also ich kann den Kontext in einem Text erfassen, ist das richtig?

Genau, also du kannst natürlich in dem Text bestimmte Wörter suchen, aber irgendwann möchtest du ja wissen, okay, ich bekomme hier täglich ein paar Millionen E-Mails.

Worum geht es in den E-Mails? Welche E-Mails sind wichtig? Welche E-Mails sind nicht wichtig zum Beispiel?

Oder du hast Nachrichten, du möchtest gucken, was passiert in der Welt? Geht es hier um Apple, die Firma? Geht es hier um Apfel? Geht es hier um diese Thematik und so weiter?

Ist das Spam? Ist das nicht Spam?

Und das sind das eben entsprechende Dinge,

die natürlich abhängen, einmal vom Kontext,

die auch gar nicht unbedingt immer ganz einfach zu erfassen sind,

denn Sprache ist ja relativ komplex, Sprache ist sehr zweideutig.

Und oft sind das auch Dinge, die viel mehr zu tun haben

mit dem ganzen, mit dem größeren Kontext, die Welt, die Sprache.

Wie funktioniert Englisch? Wie funktioniert Deutsch?

Was sagt man so normal? Und was bedeutet das?

Hat das viel mit Linguistik zu tun?

Genau, also oft, oft, genau, Computerlinguistik ist auf jeden Fall auch ein Teil vom Bereich NLP, definitiv.

Ja, und es ist quasi eine Kombination.

Und heutzutage, was halt heutzutage funktioniert, was vielleicht früher nicht funktioniert hat oder nicht so gut ist,

dass wir tatsächlich mittlerweile relativ gut einem Computer beibringen können,

mehr oder weniger zu generalisieren

und quasi entsprechende

Vorhersagen zu treffen

anhand von Beispielen,

die wir ihm zeigen.

Und je nach Anwendungsbereich

klappt das mittlerweile sehr gut. Das heißt,

wir sind an einem Punkt, wo man auch wirklich

interessante Dinge damit bauen kann

und wo auch tatsächlich diese

Technologie

auch wirklich zum Einsatz kommt

in verschiedenen

Anwendungsbereichen, Firmen,

Alles Mögliche.

Ja, ja.

Früher, also ich hab da

auch relativ viel schon, was Textkategorisierungen

angeht und so

gemacht und zu der Zeit, das ist halt

auch schon lange her, aber

da waren halt so lineare Modelle das Mittel der Wahl

irgendwie, ne? Das war so.

Lustigerweise, selbst mittlerweile

immer noch, es gibt viele Problematiken,

wo wir nach wie vor Leuten empfehlen

würden, hey, so eine super

Oldschool-Methode, linear,

klappt immer noch besser.

schneller kannst du auch teilweise

heutzutage, selbst mit den hottesten

Modellen teilweise

nicht überbieten.

Aber es gibt natürlich andere Bereiche,

wo wir sagen, okay, gut,

da braucht man einfach ein bisschen mehr.

Und ja.

Ja, genau.

Also ich meine, da hat sich natürlich,

also so ein lineares Modell ist natürlich relativ einfach

und inzwischen

gibt es ja da irgendwie so,

was halt Neuronalen Netze angeht,

Deep Learning, irgendwie hat sich ja einiges getan,

so im letzten Jahrzehnt so ein bisschen.

Und ja, das ist natürlich auch schön,

dass man da jetzt irgendwie in dem Bereich

nochmal deutlich mehr rausholen kann.

Und was ich daran ja auch total faszinierend finde,

das ist jetzt auch eine relativ aktuelle Entwicklung

mit diesen ganzen Transformer-Geschichten,

dass man da tatsächlich irgendwie aus, ja,

quasi Text oder ungelabelten

Daten halt irgendwie

was lernen kann und dann

weniger gelabelte Daten braucht, weil

gelabelte Daten sind natürlich immer relativ schwer zu bekommen.

Ja, und ich glaube,

es löst

auch ein viel tiefer liegendes Problem,

was wir halt schon immer hatten, und zwar,

dass Sprache ja wirklich

auch nur im Kontext der Welt

und im Kontext

der Linguistik existiert.

Das heißt, wenn du jetzt ein Modell trainierst und

selbst wenn du dem nur beibringen möchtest, ist diese

E-Mail, Spam oder nicht.

Das Modell muss zusätzlich zu

dem tatsächlichen

Problem und den

entsprechenden Wörtern, die wahrscheinlich

meistens darauf hindeuten, ob es Spam ist oder

nicht, auch noch so viele andere Dinge

lernen. Zum Beispiel schon allein,

okay, wie funktioniert die englische

Sprache? Wie werden da die

Wörter meistens angeordnet? Oder auch einfach,

wie funktioniert

die Welt? Was sind Wörter, die

im Kontext der Welt

benutzt werden? Und wie passt das alles

zusammen. Und das ist

unglaublich viel Wissen, was

man eben auch einem Modell quasi immer

wieder beibringen muss, damit man überhaupt

das machen kann, was sie wollen.

Ja, genau.

Und du wirkst wirklich immer quasi

immer von vorne anfangen. Oder so war

es in der Vergangenheit. Und jetzt

Transfer Learning

nennt man das auch.

Eine Sache, die wir jetzt halt

können und die jetzt tatsächlich funktioniert, ist, dass wir

quasi

wissen, dass wir aus anderen

Prozessen gewonnen haben, quasi

transferieren können auf das neue Problem.

Also wir können quasi was vortrainieren,

was unserem Modell

quasi ermöglicht, schon ein bisschen mehr

zu wissen über die Sprache

und die generelle Welt und

die generellen Wörter und so weiter. Also wir

können quasi sagen, hier ist ganz viel

roher Text, guck dir

das an und wie es

zum Beispiel funktioniert ist, die Aufgabe

ist, hier sind

ein paar Wörter und wir lassen jetzt ein Wort

weg und dann lassen wir

unser Modell vorhersagen,

was das Wort sein könnte. Und das machen wir

relativ lange, bis

es hoffentlich eine ganz gute Gewichtung

aufgebaut hat und das nächste Wort vorhersagen kann.

Und es hat sich herausgestellt, dass diese

Aufgabe sich sehr gut generalisieren

lässt für andere Sachen. Das heißt,

die Gewichtungen, die wir da aufbauen,

die haben unglaublich viel Informationen

inkludiert quasi über die Sprache.

Was ja auch irgendwie Sinn macht, wenn du überlegst, okay,

was muss man

wissen oder lernen, um das nächste

Wort vorhersagen zu können.

Und das ist quasi so die Essenz von dem, was jetzt quasi ein bisschen neuer ist und was auch dafür sorgt, dass man eben relativ wenig gelabelte oder spezifische Daten braucht, um auch ein relativ komplexes neues Problem zu lösen, da man eben auf dieses generellere Wissen zurückgreifen kann. Also man kann quasi diese Gewichte vortrainieren. Und das ist die Idee.

Ja, ich, genau, letztens gab es auch irgendwie einen Blogpost von Facebook, da Jan LeCun oder, ach, den anderen habe ich jetzt vergessen, keine Ahnung, da nannten sie das irgendwie Self-Supervised Learning, weil es ja im Grunde gar nicht so wirklich unsupervised ist.

Man hat ja schon irgendwie, ja, ich meine, die Information, dass in dem Text das Wort gestanden hat und lernt jetzt eben daraus, dass man das als das, was man vorhersagen möchte, betrachtet. Oder eben Transfer Learning, ja, ist halt auch…

Ja, Terminologie generell im Bereich.

Was nennt man ein Modell?

Das, finde ich, ist leider ein bisschen unglücklich.

Das heutzutage, oder so, Language Model

wird halt für so viele Dinge benutzt.

Ja, da wünsche ich mir manchmal,

dass so ein bisschen die Terminologie ein bisschen klarer wäre,

weil das auch ein bisschen, glaube ich,

ja, Verwirrung stiftet.

Wie würdest du das denn definieren?

Was ist ein Language Model?

Das Problem ist halt, okay,

grundsätzlich ein Modell,

oder zumindest

traditionell, man nennt vieles Modell.

Manche Leute nennen den

Algorithmus ein Modell. Das ist also

quasi die Implementation, den

Code, den du dafür schreibst. Aber dann

gibt es natürlich auch das Artefakt, dass du

da trainierst. Also die

Gewichte, also quasi so eine

binäre Datei, die dann da rumliegt

und die du am Ende speicherst.

Und vielleicht das zusammen

kann man eigentlich so als Modell bezeichnen.

Dann, ich glaube, früher

Language Model haben wir früher auch gerne genannt.

Modelle, die wir trainiert haben für verschiedene Sprachen.

Aber das würde jetzt auch heutzutage viel benutzt

für eben diese Gewichte, die man trainiert,

auf der Basis von rohem Text.

Das ist also heute hauptsächlich, was Leute meinen,

wenn sie Language Model sagen.

Also okay, wir haben kompletten Text aus der Wikipedia

im Englischen runtergeladen und diese Embeddings trainiert,

indem wir das nächste Wort vorhergesagt haben.

Und die kann man jetzt weiter benutzen.

Und das ist jetzt, das ist ein Language-Motto.

Also es gibt da verschiedene,

es gibt verschiedene Definitionen oder verschiedene,

ja,

Verwendungen. Ja, es wird halt irgendwie in unterschiedlichen Kontexten

halt unterschiedlich, unterschiedlich

verwendet, ja. Und es ist ja auch was,

Leute, was nennt man Machine Learning, was nennt man

KI?

Oh, AI. Ist auch leider nicht immer so,

immer, oder AI, genau.

Ja, genau, da muss ich

mich auch immer dran gewöhnen, weil ich bin tatsächlich,

die deutsche Terminologie ist mir

nicht so nah, weil ich es halt nie,

Weil ich es halt nie gelernt habe auf Deutsch.

Also ich bin immer gewohnt, so auf Englisch drüber zu lesen.

Du bist auch gerade in Australien, ne?

Ich bin momentan gerade in Australien, ja.

Ein bisschen Social Distancing von Europa.

Genau, so weit wie möglich weg.

Ich glaube, viel weiter geht auch gar nicht.

Ja, also wie gesagt, ich freue mich drauf, wieder zurückzukommen.

Aber halt momentan ist, okay, gut, bringt ja auch keinem was,

wenn ich jetzt in der momentanen Situation da wieder in den Flieger steige.

Aber ich habe halt auch nie so,

ich habe zum Beispiel nie jetzt klassisch

Informatik studiert oder so.

Das merke ich teilweise im Vergleich,

dass manche Leute, die halt auf Deutsch programmieren

gelernt haben, da so

die deutsche Terminologie drauf haben.

Und da muss ich mich

auch erstmal reinlesen. Ich habe für

Spacey so einen Online-Kurs gemacht, den habe ich auch

in verschiedenen Sprachen übersetzt. Also ich nicht,

ich habe ihn auch nur auf Deutsch übersetzt. Mehr Sprachen

kann ich nicht. Aber andere

aus der Community haben uns dabei geholfen

und ich musste mich erstmal sehr reinlesen in

die deutsche Programmier-Terminologie.

So sagt man iterieren.

Also

Konsens ist Stein bei Ja.

Ja, ich will das auf Deutsch

sagen, das hört sich manchmal komisch an.

Ja, es ist sehr

eigenartig. Ich komme manchmal jetzt so

oder das Problem hatte ich jetzt letztens,

dass dann

irgendwie, ich weiß nicht,

Domain-Driven Design, ob das euch ein

Begriff ist, wo man, wenn man jetzt in einer

anderen Domäne unterwegs ist, also gar nicht

unbedingt jetzt, wenn es ums

Programmieren geht, sondern einfach fachlich

ist man halt irgendwas unterwegs, wo Leute halt ihre eigene

Sprache für

entwickelt haben, um sich überhaupt austauschen

zu können über das Thema, mit dem sie da zu tun haben.

Und da habe ich dann erstmal alles

nach Englisch übersetzt, weil ich das so schrecklich

fand, weil das geht gar nicht, wenn

da irgendwie so deutsche Wörter im Source Code stehen,

dann dachte ich so, jetzt muss ich unbedingt übersetzen.

Dann habe ich dann weitergelesen, dann hieß es so, naja,

nee, am besten immer die Originalbegriffe benutzen,

weil ansonsten ist das die totale Verwirrung.

Man weiß hinterher überhaupt gar nicht mehr, was was bedeutet.

Ja, das ist mir dann auch passiert.

Es ist irgendwie nicht so einfach.

Mit den unterschiedlichen Sprachen ist blöd.

Ja, oder Mischung halt. Gerade im IT-Bereich

ist ja voll oft so Denglisch irgendwie dann.

Ja, und ich meine, Programmieren

an sich, ich meine, Python ist

Englisch. Und auch so, du merkst

natürlich, du hast die Wörter, du programmierst

auf Englisch.

Oder schon allein, wenn du dir so eine deutsche

Tastatur anguckst. Die englische

Programmiersprachen sind meist für

die amerikanische Tastatur entwickelt worden.

Deswegen haben wir den Backtick an der

blödesten Stelle

und es ist eigentlich der Akzent.

Oder Backslash.

Ja, oder andere, oder die ganzen

Klammern zu tippen. Warum ist das

so nervig auf unseren

Tastaturen?

Ja, weil...

Irgendwer wollte unbedingt eine neue eigene Tastatur machen.

Ja, es ist anstrengend.

Ich hab immer mal überlegt, ob ich einfach mal

sagen soll, okay, ich lerne

die amerikanische Tastatur, weil es ja wirklich fürs Programmieren

einfach ist. Also einfach eine Taste zu haben, wo du

einen Backtick tippen kannst,

ist

einfach. Aber ich bin halt, ich hab mich,

ja, ich krieg das nicht mehr. Ich glaub, ich bin zu alt.

Ich bin da zu.

Ja, musst wahrscheinlich anfangen mit einer anderen.

Ja, oder bei mir ist das Problem auch immer, ich hab's dann immer mal überlegt,

ob ich dann nicht in meinem nächsten Rechner dann tatsächlich amerikanische

Tastatur oder englische Tastatur halt nehme.

Und dann dachte ich mir, aber ich hab jetzt noch ein paar andere.

Nichts da, die Tastatur.

Ja, also wenn man halt wirklich...

Ich hab auch gerne die Umlaute auf der Tastatur.

Also es stört mich, wenn ich jetzt nicht in Ö tippen kann oder so.

Ja, aber ich sag mal, die Sprache, wir tippen ja schon alles dann auf Englisch raus.

Also auch Kommentare und so würde ich jetzt mal schätzen, dass wir alle die auf Englisch schreiben.

Das macht ja auch irgendwie Sinn, wenn man irgendwie ein bisschen kollaborativ arbeiten möchte und so.

Und ja, es ist halt schon interessant.

Also ich glaube, Englisch ist halt, wenn man so ein Natural Language anguckt,

mit Sicherheit um Meilen weiter, als das irgendwie Deutsch sein wird.

Und Meilen ist wahrscheinlich noch zu wenig.

Einfach von der Masse an Sätzen, die so gesagt werden in den jeweiligen Sprachen und was man damit halt an Datenbasis irgendwie anfangen kann.

Aber auch einfach die Forschung, also generell die Forschung findet auf Englisch statt und natürlich, es gibt unglaublich viel interessante Arbeit auch, was NLP angeht, in anderen Sprachen und auch die Forschung, aber grundsätzlich muss man sagen, rein alle Sprachen, die Englisch ähneln, mit denen können wir momentan auch im Bereich Machine Learning am besten umgehen, weil da einfach die meiste Forschung stattgefunden hat.

Okay, interessant. Welche Sprachen ähneln Englisch?

Also natürlich so die romanischen Sprachen schon, also alles, also es ist halt so ein Spektrum, aber Chinesisch zum Beispiel eher nicht.

Also es ist eher, ich würde sagen, eher die Sprachen, die Englisch am unähnlichsten sind, sind durchaus auch weniger erforscht oder die Techniken, die veröffentlicht werden oder die geforscht werden und die Strategien für Machine Learning und so weiter, die sind halt schon meist optimiert für Englisch.

Und da ist natürlich auch die Motivation da für den Forscher zu sagen, okay, gut, du möchtest ja auch, das kann man ja auch den einzelnen Leuten da nicht ankreiden. Also du möchtest natürlich, wenn du auf einem Gebiet forschst, du möchtest deine Experimente vergleichen können mit anderer Arbeit, du möchtest sagen, hey, hier, cool, ich habe tatsächlich was entwickelt und was gemacht hier, das irgendwie besser ist als das, was vorher da war.

Und ja, die wichtige Arbeit funktioniert mit englischem Corpora.

Und das heißt, natürlich ist da eine Motivation da,

auch mit der englischen Sprache zu arbeiten.

Und natürlich ist einfach mehr und mehr Daten da.

Ja, auch einfach viel mehr Trainingsdaten.

Aber man muss auch sagen, okay, momentan,

wir sind am Punkt, wo man gar nicht mehr unbedingt so viele Daten braucht.

Man kann Daten selber erstellen, das ist ja auch ein Bereich, in dem wir arbeiten, also unser kommerzielles Produkt, wodurch wir auch Geld verdienen, weil wir machen ja unglaublich viel Open Source, was wir verschenken quasi, ist Prodigy, das ist ein Annotationstool, speziell entwickelt für Entwickler und Machine Learning.

Also die Idee ist, okay, oft, wenn du halt ein spezielles Problem löst, ist es oft nicht damit getan, dir einfach irgendein Modell aus dem Internet runterzuladen, das irgendjemand anders mal trainiert hat und das vielleicht ein bisschen ähnlich ist zu dem, was du machen möchtest.

Und da wir auch heute an einem Punkt sind, wo wir sagen, du brauchst gar nicht mehr Big Data Milliarden an Beispielen, auch ein paar Hundert, paar Tausend, damit kannst du echt, also wenn du es gut machst und wenn das gut durchdacht ist und du dir Gedanken machst, okay, wie strukturiere ich das Problem, kannst du damit echt super Resultate mittlerweile erzielen.

Das heißt, es ist auch komplett machbar, dass du sagst, hey, ich setze mich einfach hin und verbringe eine Stunde, gucke mir meine Daten wirklich an, überlege mir, wie label ich die. Und wenn das Tool effizient ist und du damit gut arbeiten kannst, kannst selbst du als einzelner Mensch innerhalb von einer Stunde ein Datenset erstellen, mit dem du wirklich was auch produktiv machen kannst.

Vielleicht da nochmal auf die Features könnten wir da nochmal eingehen.

Was macht denn Spacey jetzt genau mit einem Datensatz?

Also was kannst du damit alles bauen?

Also Spacey ist eine Bibliothek, mit der du moderne NLP-Systeme bauen kannst.

Also wir haben verschiedenste Komponenten, die du trainieren kannst.

Wir haben natürlich auch Pipelines, die man sich runterladen kann,

die wir vortrainiert haben.

Und für verschiedenste Tasks oder verschiedenste Probleme kannst du halt deinen Text reinfüttern

und du bekommst am Ende die Annotationen, die das Modell extrahiert hat, am Ende raus.

Also zum Beispiel fängt an bei Wortarten.

Du fütterst einen Text rein und das Modell kann vorher sagen, ist das ein Verb, ist das ein Nomen und so weiter, je nach Sprache.

Dann gibt es natürlich auch die Beziehungen der Wörter zueinander.

Ist das das Subjekt? Ist das das Objekt?

Das ist auch was, was man vorhersagen kann.

Und Spacey hat halt auch entsprechende Datenstrukturen,

die das halt auch abbilden können.

Denn du möchtest ja idealerweise nicht alles hier in der Liste,

hier im Dictionary haben,

sondern du möchtest wirklich alles effizient gespeichert haben

an einem Punkt.

Und du möchtest jedes Wort am Ende

zu jedem anderen Wort wieder zurückführen können.

Also du möchtest wirklich, okay, hier habe ich ein Wort im Kontext.

Wie hängt das Wort mit dem Wort zusammen?

wie hängt das mit dem Satz zusammen und da hat Spacey halt auch die Datenstrukturen, die dich damit effizient arbeiten lassen.

Named Entity Recognition, das heißt, man kann auch basierend auf einem Text voraussagen,

welche Wörter sind zum Beispiel ein Personenname, ein Städtename, Produktname, Firmenname und so weiter.

Und das ist natürlich vor allem spannend, wenn man das halt auf seine ganz spezielle Problematik zuschneidet.

Also wenn man spezielle Begriffe in seinem Bereich hat und dann kannst du wirklich ein Modell trainieren,

dass das entsprechend dir vorhersagen kann.

Und dann hast du halt ...

Ja, also alle Fachbegriffe für die Domäne irgendwie, ne?

Genau, und dann kannst du auch sagen,

okay, der Personenname, ist das jetzt das Subjekt oder das Objekt?

Und so weiter.

Oder andere Komponenten, wo wir halt gerade dran arbeiten

oder die man halt auch bauen kann.

Du kannst sagen, wenn du jetzt ein Pronomen hast,

so er bezieht sich das, auf wen bezieht sich das?

Also der Mann kommt nach Hause, er zieht sich die Schuhe aus.

Kannst du das Er zurück auf den Mann beziehen?

Das ist auch in vielen Kontexten sehr wichtig.

Denn das ist was, wenn wir das lesen, uns ist das relativ klar.

Wenn du das maschinell machst, ist es deutlich trickier

und auch nicht immer so eindeutig, wie wir das gerne hätten in der Sprache.

Ja, Text-Klassifizierung hast du ja schon mal angesprochen vorher.

Du kannst natürlich auch Labels für den ganzen Text vorher sagen.

Geht's hier um Sport? Geht's hier um Politik?

Geht's hier um Spam?

Das ist was, was du machen kannst.

Und Spacey lässt dich halt diese Komponenten zu einer Pipeline zusammenbauen.

Und natürlich zwischendurch, es kann auch sein, dass du sagst,

hey, ich möchte einen Baustein, der soll einfach nur richtig oldschool,

ein paar reguläre Ausdrücke sein.

Denn in der Praxis ist das nach wie vor, es macht Sinn, du trainierst ein System, richtig fancy, Transformers, Named Entity Recognition, geil, sagt Firmennamen voraus, funktioniert super und dann, weiß nicht, zeigst es deinem Chef, der gibt irgendwas ein mit deinem Firmennamen drin und das Ding erkennt den eigenen Firmennamen nicht, weil der irgendwie komisch ist und überhaupt nichts Ähnliches in den Trainingsdaten war.

Jetzt können sie sagen, oh, da mache ich jetzt nochmal neue Trainingsdaten, tune meine Hyperparameters und verbringe dann nochmal ein paar Wochen dran und am Ende kriegt der unseren Firmennamen hin, aber kann irgendwelche anderen Sachen nicht mehr. Oder du sagst, ja geil, haue ich jetzt einfach einen regulären Ausdruck drauf und dann kriegt der unseren Firmennamen immer richtig hin. Und in der Praxis, so löst man viele dieser Probleme.

Und so sehen auch praktische Systeme aus. Du hast vielleicht einen super heißen, modernen Baustein, der halt die neuesten Transformer-Modelle verwendet und dann hast du vielleicht einen Text-Classifier, der noch Oldschool, lineares Modell, weil es halt einfach gut funktioniert.

Dann hast du noch ein paar Regeln obendrauf und am Ende hast du halt eine Repräsentation von einem Text, wo alle diese Informationen drin ist, die du dann verwenden kannst, um was auch immer dein eigentliches Ziel ist, zu erreichen. Denn das ist ja auch nochmal ein Problem. Oft die tatsächlichen Ziele, die man hat und die Probleme, die man lösen möchte, die sind ja nicht immer eins zu eins übertragbar in ein Machine Learning Modell, das man trainiert.

Das ist auch sowas, okay, so stellen sich das manche Leute manchmal vor, unsere Firma möchte, dass wir das und das und das auslesen und das am Ende so und so in die Datenbank eingeben, kann man versuchen wirklich von A nach B komplett ein System vorhersagen zu lassen, ist aber oft in der Praxis nicht sonderlich nützlich und auch nicht, oft muss man sich hinsetzen, okay, wie kann man das Problem runterbrechen in kleinere Bausteine,

Die man auch tatsächlich effektiv mit den technischen Möglichkeiten, die wir momentan haben, lösen kann.

Ja, es ist auch immer wieder, ich meine, ich finde das ja tatsächlich erstaunlich, dass sich im Grunde alle Probleme letztendlich dann doch, auch vielleicht manchmal in mehreren Stellen,

Schritten, aber auf eben sowas Simples

wie, ja, binäre Klassifikationen

quasi runterbrechen lassen, weil

das ist,

ja, von binärer Klassifikation zu

Multilabel, also dass man halt mehrere Labels

jetzt für den Text vorher sagt oder so, ist eigentlich quasi auch das

Gleiche. Und, ja,

dann gibt's halt noch Regression und dann gibt's

halt noch Clustering und dann war's das im Grunde schon.

Aber man kann damit halt eine Menge machen.

Dann dachte ich, so, hm, damit soll man wirklich alles machen

können. Aber ja, es geht schon, aber

man muss sich halt dann doch ein bisschen,

ja, manchmal... Ich glaube, es geht halt

auch so ein bisschen ums Mindset, aber das ist ja auch

beim Programmieren generell

nicht anders. Also wenn du jetzt sagst, okay, ich habe

hier ein Problem, das möchte ich lösen mit

Python, dann musst du dir auch überlegen, okay, was habe ich hier zur Verfügung?

Was sind so diese Abstraktionen?

Wie strukturiere ich

das? Was macht Sinn?

Was macht keinen Sinn?

Und das ist quasi der Job,

den du dann als Softwareentwickler löst.

Und so ähnlich ist es auch

im Bereich Machine Learning. Ist auch quasi

eine Art zu programmieren.

Ist halt nur ein bisschen anders

und man hat halt noch diese Daten als die

Komponente. Im so klassischeren

Programmieren hast du halt

im Programm, da geht was rein, kommt immer was

raus. Hier hast du Code plus Daten.

Ja, beziehungsweise

das, was man programmiert,

ist nicht so sehr

ein Algorithmus, aber man legt eher die Daten

für ein Modell fest, das dann irgendwie

tatsächlich dann

irgendwie was macht. Das fand ich auch interessant,

das gab es, glaube ich, 2018 gab es

einen Vortrag von André

Capati, ich weiß gar nicht, wie das auch

gesprochen wird. Software 2.0

oder Software 2.0. Genau, also das ist auch

eine sehr ähnliche Idee.

Genau, da sagt er auch, ja, also

früher haben wir halt sozusagen

eine, also wir haben

ein Problem und dann haben wir

einen Lösungsraum für dieses Problem und

wenn wir jetzt das explizit programmieren, dann

nehmen wir uns einen ganz winzigen

Punkt aus diesem Lösungsraum raus

und definieren den halt exakt.

Aber tatsächlich kann man ja auch vielleicht einfach eben

per Daten so eine Region

aus dem Lösungsraum rauszeigen und

dann halt ein Optimierungsverfahren

verwenden, um tatsächlich die

Lösung zu finden, also quasi

per Machine Learning

ein Modell trainieren, das dann halt sozusagen

die Lösung

modelliert und

dann verändert sich der

Job als Programmierer halt so ein bisschen

und ja, das fand ich

auch sehr interessant. Ich dachte so, ja, das ist natürlich, das hebt

es dann wieder auf eine etwas abstraktere Ebene.

Dann werden natürlich die Tools, die man dafür braucht,

halt extrem wichtig und sehr

interessant. Genau, und auch die

Daten einen ganz anderen Stellenwert bekommen. Und das ist halt

auch was, was meiner Meinung nach nach wie vor nicht genug

Aufmerksamkeit bekommt.

Also auch so als Analogie jetzt,

wenn du programmierst, klassisch

schreibst du deinen Code,

dann hast du einen Compiler, da geht dein

Code rein und am Ende kommt ein Programm

raus. Und jetzt

mit Machine Learning hast du

deine Daten, du hast einen Algorithmus

und am Ende trainierst du dein Modell und dein Modell

kommt raus. Und wenn du jetzt

feststellst, okay, dein Modell ist nicht sonderlich

geil. Oder im klassischen Programmieren,

dein Programm, was am Ende rauskommt

aus deinem Compiler, macht nicht das, was es

soll, ist zu langsam, funktioniert nicht,

hat Bugs. Was machst du?

Du könntest natürlich hingehen und sagen,

okay, da gehe ich jetzt erstmal an den

Compiler ran und schreibe mir meinen eigenen Compiler.

Machst du aber normalerweise nicht.

Normalerweise, du gehst in deinen Code rein

und veränderst deinen Code

und passt den an und fixt den,

damit dein Programm am Ende besser wird.

Ich will damit nicht sagen, es gibt super viel Arbeit,

die man im Bereich Compiler noch machen kann,

aber das ist normalerweise so nicht das Erste, was man macht.

Und analog natürlich, Machine Learning,

wenn dein Modell nicht das macht, was es soll

und du damit nicht zufrieden bist,

kannst du hingehen und deinen Algorithmus tweaken.

Und natürlich kann sein, dass da ein Bug drin ist,

der dafür sorgt, dass dein Modell nichts lernt.

Aber meistens, was du machen solltest, ist, dir die Daten angucken.

Und du kannst das Schöne am praktischen Machine Learning

oder quasi praktischen NLP, wenn du es halt wirklich anwendest, auf Probleme ist.

Dass du quasi selber entscheiden kannst, wie schwierig oder wie einfach du dir quasi das Problem machst.

Du kannst ja kontrollieren, wie du deine Daten annotierst, wie du die aufbereitest,

wie du das Problem runterbrichst.

Und das ist, glaube ich, auch, wie sich zum Beispiel die angewandte Praxis

so ein bisschen unterscheidet von der reinen Forschung.

In der Forschung ist das Ziel ein ganz anderes.

Du hast ein Problem, du hast quasi eine Benchmark, du hast einen Algorithmus, den du entwickelt hast und dann, es macht natürlich Sinn, wir wollen alle unsere Algorithmen am selben Problem vergleichen, denn nur so kannst du sehen, ist das, was ich jetzt hier mache, besser als das, was jemand anders gemacht hat. Macht meine Idee Sinn, funktioniert das?

Das heißt, da setzt du dich typischerweise nicht hin und änderst das Problem, denn dann hat deine ganze Forschung keinen Sinn mehr. Aber das sind eben ein bisschen die anderen Denkweisen, die man da hat und das ist auch, glaube ich, etwas, was einfach die angewandte Praxis unterscheidet.

Und auch jetzt, um es wieder zurückzuführen, ein bisschen auf das, was wir so machen, was auch so ein bisschen die Philosophie von Spacey unterscheidet von vielleicht anderen Bibliotheken und auch die Gedanken, die wir uns machen müssen. Unsere Nutzer sind ja Entwickler, die wirklich in der Praxis diese Systeme bauen.

Und das heißt, wir müssen natürlich Entscheidungen treffen, die das besonders effizient und einfach machen, aber auch die Möglichkeit geben, eben diese Bausteine entsprechend zusammenzusetzen, manche Bausteine wiederzuverwenden und eben eine flexible Möglichkeit zu haben, diese Systeme halt zu bauen und auch zu testen und auch zu sehen, okay, wenn was nicht funktioniert, möchtest du ja gucken, wo ist das Problem?

Das ist sehr schwer, wenn alles so eine Blackbox ist und du am Ende nicht weißt, was passiert da. Da geht was rein, am Ende kommt was raus und ja, das war's halt.

Ja, genau. Und das ist natürlich auch sowas, was man wahrscheinlich im akademischen Bereich nicht so häufig hat, dass man eben auch mit den Annotationstools viel zu tun hat oder auch mit, so was ich auch immer häufig sehe, dass man, dass halt dieses, wie speichert man Daten, wie reagiert man darauf, wenn sich Daten verändern oder so, ist halt ein ganz wichtiger Teil. Dieser ganze Data Engineering Aspekt ist halt auch total wichtig. Und den hat man halt eigentlich gar nicht, wenn man jetzt mit fixen Corpora arbeitet, die immer gleich sind.

Wie gesagt, das ist ja auch nicht unbedingt was,

wo sich ein Forscher mit beschäftigen möchte.

Aber ich glaube, es ist eher was, was man auf der anderen Seite,

wenn man eben im angewandten Bereich arbeitet,

sich halt bewusst machen muss,

okay, es gibt so ein bisschen den Momentan,

viele Leute sind unglaublich heiß drauf

und wollen sich halt so, okay, die letzte Forschung direkt rein,

ins Blut, direkt injizieren, so schnell wie möglich.

Und in manchen Bereichen geht das.

und natürlich, wir haben wirklich in den letzten Jahren

vor allem sehr schnelle Adoptionen gesehen

von Dingen, die in der Forschung entwickelt wurden

und auch praktisch

sehr schnell auch

wendbar

waren

und natürlich, der Kreislauf

wird schneller und wenn irgendwas Interessantes

rauskommt,

dann dauert es auch

nicht mehr so lange, bis man auch tatsächlich

was Sinnvolles damit machen kann, aber es ist halt nicht immer so

und es ist auch nicht immer nur, weil irgendein

Paper rauskommt, was halt spannend

klingt, heißt es nicht, dass es unbedingt

das ist, was

dein System auf jeden Fall jetzt braucht.

Und ja.

Wie gesagt,

für viele Probleme,

selbst mit einem oldschool linearen Modell

kannst du oft

viel machen. Oder wenn

dein lineares Modell das überhaupt nicht hinkriegt,

heißt es auch oft, dass

vielleicht die Definition

deines Problems eher das Problem

ist als

der genaue Algorithmus.

Ja, ja, ja, ja.

Ja.

Genau.

Ihr macht ja auch noch

im Prodigy

dieses Annotationstool.

Das ist auch alles quasi so, wie

Spacey auch Python, beziehungsweise

wahrscheinlich dann im Frontend irgendwie was anderes ist,

weiß ich gar nicht.

Ja, also Frontend natürlich, du brauchst immer ein bisschen JavaScript,

damit es im Browser läuft und es ist

so eine relativ leichte React-App,

Aber ja, Backend ist alles in Python

und die Philosophie ist auch wirklich,

okay, es ist ein Entwicklertool, du möchtest damit programmieren.

Das war uns immer unglaublich wichtig.

Und ja, wir freuen uns auch,

das wurde halt super gut angenommen.

Prodigy ist sehr erfolgreich.

Und das ist auch was, was wirklich, glaube ich,

Entwickler anspricht.

Und das ist auch die Art von Tools,

die wir entwickeln wollen und natürlich auch die Art von Tools,

die wir auch gerne benutzen wollen.

Also ich möchte, wenn ich mit etwas arbeite,

ich möchte programmieren können.

wenn ich irgendwas

möchte, wenn ich

weiß, wie ich irgendwas in Python machen kann

und ein Tool gibt mir die Möglichkeit,

da einfach ein bisschen Code zu schreiben,

denke ich, cool, super.

Vor allem, weil ja auch in dem Bereich

fast alles andere in Python

läuft.

Wenn du jetzt

Spacey benutzt, andere Bibliotheken,

die Modelle, das ist meistens

Python. Du kannst unglaublich viel

machen, was das

Laden von Daten, Streamen

und so weiter angeht.

das ist alles möglich, das ist alles gelöst.

Und da ist auch unsere Philosophie generell,

wir wollen es Entwicklern ermöglichen, Code zu schreiben.

Wenn du Code schreiben kannst, ist es immer besser.

Du möchtest nicht nur einen Button haben, auf den du klicken kannst.

Ein Button, auf den du klicken kannst, ist cool,

aber wenn du mehr machen möchtest, solltest du die Möglichkeit haben.

Und für Entwickler ist einfach Code die beste Art und Weise.

Was kann man denn machen mit den Daten,

um die vorzubereiten oder aufzubereiten

für Spacey oder mit Spacey sogar

mit den Daten?

Also es kommt natürlich darauf an, was man machen möchte.

Also meinst du mit Vorbereiten, okay, du hast halt

rohen Text und du möchtest

halt etwas damit trainieren und du möchtest den

annotieren?

Ja, also

erst mal, die Daten

musst du natürlich annotieren und

die in Format bringen, damit

du zum Beispiel dein Modell damit

trainieren kannst. Und

eine Option ist, du kannst ganz

Oldschool in einer Excel-Tabelle machen,

du kannst es ganz Oldschool

in JSON machen

und das wirklich eintippen, von hier bis da

ist eine Person oder das und das ist

das Label, so wird es auch oft gemacht.

Dann natürlich mit einem Tool wie Prodigy

sagen wir, hey, du kannst einfach deine Daten

rein streamen, du kannst ein bisschen

klicken, du kannst auch

Sachen ein bisschen automatisieren, das ist halt auch immer cool,

denn

als Menschen,

wir sind einfach, es gibt

viele Dinge, die wir einfach schlechter können,

als ein Computer. Ist halt nun mal so.

Unser Erinnerungsvermögen

ist schlecht, wenn es darum

geht, Dinge zuverlässig,

immer konsistent,

genau gleich zu machen, können wir nicht.

Und das sind nun mal

Dinge, dafür haben wir Computer entwickelt,

das kann ein Computer halt besser. Deswegen sagen wir halt,

wenn du halt Dinge,

die sehr

ein bisschen

stupide, wir nicht sagen stupide,

aber wo du immer das Gleiche machen musst,

das kann halt auch ein Computer machen. Du kannst ein Computer sagen,

okay, ich bin mir relativ sicher, dass Berlin eigentlich immer eine Stadt ist.

Und wenn nicht, gut, dann kann ich das korrigieren.

Das heißt, du kannst dir Workflows bauen, wo du sagst,

hey, ich habe hier ein paar Beispiele für das,

was ich quasi in meinen Daten labeln möchte.

Das mache ich jetzt automatisch und gucke mir das nur an.

Und wenn irgendwas falsch ist, dann korrigiere ich das.

Oder du hast schon ein Modell, das sagt ein paar Dinge voraus,

ist aber nicht so gut.

kannst du sagen, cool, Modell, label mir das schon mal

und ich gucke mir das noch an.

Das ist was, was du machen kannst.

Und am Ende, okay, am Ende kriegst du die Daten raus

und kannst dann dein Modell damit trainieren.

Aber da fängt es halt auch, ich würde sagen, da fängt es halt erst an.

Das ist halt der erste Schritt.

Und das Lustige ist oft, wenn man halt hört,

wie Leute sich über diese Themen austauschen,

klingt es danach, als wäre es dann schon vorbei.

Cool, du labelst so ein bisschen deine Daten,

dann trainierst dein Modell, fertig.

Aber natürlich ist es immer ein iterativer Prozess. Dein Modell musst du immer weiter trainieren, genauso wie du deinen Code auch ständig refactors und weiterentwickelst. Das ist nicht statisch. Oder eine Webseite. Du kannst eine Webseite dir entwickeln lassen, den Auftrag geben, aber die musst du halt auch updaten.

Und wenn du jemanden beauftragst, dir eine Webseite zu machen,

willst du normalerweise auch, dass die Webseite,

dass da eine Möglichkeit ist, dass du die auch später updaten kannst

und du nicht jedes Mal deinen Webmaster anrufen musst,

wie in den 90ern oder so.

Und deswegen, okay, einmal du hast deine Daten,

meistens irgendwas geht schief, irgendwas funktioniert nicht.

Dann guckst du dir oft an, okay, was sind die Probleme?

Was könnte das drüber aussagen?

Da musst du ein bisschen, oft auch, okay, ein bisschen logisch drüber nachdenken.

Okay, wie funktioniert das Modell? Was ist hier vielleicht das Problem?

Was haben die Beispiele gemeinsam, die halt nicht so gut funktionieren?

Vielleicht brauche ich auch einfach ein bisschen mehr Daten.

Ich habe nur sehr wenige Beispiele aus diesem Bereich.

Mal gucken, wie es funktioniert, wenn ich einfach ein bisschen mehr hinzugebe.

Oder vielleicht, anstatt zu sagen, ich habe jetzt ganz spezielle Kategorien für Stadt, Kreis, Bundesland oder so, vielleicht mache ich es ein bisschen allgemeiner, denn oft ist das ja, vielleicht macht es so, dass die Modelle ein bisschen einfacher sagen, okay, du musst nicht nur im Kontext erkennen, handelt es sich um eine generelle Ortschaft, ein Land, ein Kontinent, ein Kreis, ein Bundesland.

Und das ist oft vielleicht ein bisschen einfacher

im Kontext vorher zu sagen.

Und dann kannst du immer noch sagen,

okay, ist das, sobald ich weiß, da geht es um eine Lokalität,

habe ich einen zweiten Prozess, der dann sagt,

okay, der grenzt das ein bisschen mehr ein und so weiter.

Das sind alles die Entscheidungen, die man halt treffen muss,

die auch oft sehr spezifisch sind und darauf ankommen,

was man halt für ein Problem lösen möchte.

Ja, also so in der Praxis kriegt man dann immer oft so,

was ich bei Textkategorisierungen

dann die ganze Zeit gemacht habe,

war halt so, in einem Preisvergleich

Angebote in Kategorien sortieren

und da ist es halt zum Beispiel,

merkt man dann, wenn man viele Angebote

hat und auch viele immer neu dazukommen von

irgendwelchen Shops, die man vorher noch nicht gesehen hat,

dass es unter Umständen sehr sinnvoll ist, so eine Kategorie

zu haben wie

alle Dinge, für die wir keine Kategorie haben, weil

ansonsten verteilen die sich halt

in alle Dinge, wo man eine hat

und das ist gar nicht gut, weil dann

Und dann denkt man sich, wo kommt dieser Kraml mal her?

Ja, genau.

Einerseits willst du dir natürlich vorher idealerweise Gedanken machen,

wie ordne ich das ein.

Du möchtest auch nicht, dass du während du das annotierst,

dass jeder dann einfach mal,

oh, hier habe ich noch eine Idee für eine Kategorie.

So stellen sich das auch manchmal Leute vor,

aber das ist natürlich nicht sinnvoll.

Aber andererseits musst du dir auch überlegen,

okay, wie gehe ich damit um?

100 pro, du hast 1000 Beispiele annotiert.

Und dann denkst du, ja, Mist,

nee, hätte ich jetzt doch noch mal eine andere Kategorie machen sollen.

Und dann willst du einen Workflow haben, bei dem du das relativ easy machen kannst und wo du nicht sagst, ja toll, jetzt muss ich nochmal ganz von vorne anfangen oder ja, jetzt, keine Ahnung, jetzt habe ich meinen ganzen Fortschritt hier verloren und so weiter.

Also das ist alles richtig. Und noch ein ganz anderes Thema, oder ein ähnliches Thema ist, du enkodierst immer eine gewisse Voreingenommenheit in dein Modell. Das liegt schon daran, dass Sprache ist voreingenommen und das ist ja auch nicht unbedingt schlecht.

Also die Idee, okay, wenn du jetzt irgendwelche Texte aus den 60ern analysierst, da gibt es bestimmte Dinge, da kommen halt mehr Männer vor und keine Frauen, da ist die entsprechende Sprache gewählt.

Wenn du dir da, oder wenn du dir, weiß nicht, Hasskommentare auf Twitter analysieren möchtest, da ist, das ist auf jeden Fall relativ speziell und du möchtest ja auch, dass das Modell sowas sieht, aber du möchtest nicht unbedingt, dass dein Chatbot am Ende Twitter-Kommentare generiert, genau, oder du trainierst dein Modell für Personennamen und da in deinen Beispielen, da haben alle so schöne deutsche Namen wie Jochen und das funktioniert auch total super

und dann setzt du das in der Praxis ein,

wo auf einmal Leute nicht so typisch klassische deutsche Namen haben

und dann geht das nicht.

Und dann können die Leute deine Tools nicht nutzen

oder haben dann ganz komische Probleme.

Und das ist natürlich auch was,

dass du erst rausfindest, wenn du mit den Daten arbeitest

und da tatsächlich iterierst.

Und...

Ja, ich glaube, das ist auch

das stellen sich viele Leute

meistens dann zu einfach vor.

Ja, es ist

ja, und gute Tools

an der Stelle. Sprache ist

messy irgendwie, ja.

Ja, und es macht auch spannend,

aber

es ist durchaus, also man, ich glaube,

ja, man kommt nicht drum rum,

sich auch wirklich Gedanken zu machen.

Ja, von Ärger.

es klingt so, ah, Künstliche Intelligenz

macht das alles für uns.

Nein, wenn du es benutzen möchtest

und da wirklich,

und nicht nur, du musst dir Gedanken machen, du solltest dir Gedanken machen.

Ich finde es wichtig, dass wir uns alle

Gedanken machen über das, was wir

entwickeln,

was wir erreichen wollen, wie wir das

machen, ob es Sinn macht,

was da für Probleme auftreten

können und eben auch,

wie es funktioniert. Ich glaube, es ist wichtig

zu verstehen, grob,

wie funktionieren diese Modelle

was passiert da, auf welcher Basis

machen die Vorhersagen

und was bedeutet das am Ende

und das bedeutet nicht, dass

jeder genau im Detail

Machine Learning verstehen muss

genauso wie natürlich, wenn du dein Auto fährst

musst du nicht verstehen, wie das Auto genau

funktioniert, aber bis zum

gewissen Grad ist es durchaus wichtig

und deswegen finde ich es auch

teilweise problematisch

wenn das so ein bisschen in

manchen Tools oder in manchen

Produkten so komplett wegabstrahiert

wird. So, uh, gib irgendwas ein, unsere

magische künstliche Intelligenz macht das alles

für euch. Und ich glaube,

da das Problem ist, das ist halt

schon allein

für die

Benutzer das deutlich

intransparenter macht, was da eigentlich

passiert. Obwohl

eigentlich, glaube ich, auch der Endbenutzer sollte sich überlegen,

okay, was geht da ab?

Was, oder wenn, okay,

eine KI macht das. Die erste

Frage sollte sein, okay, womit wollt ihr die trainieren?

oder auch, genau, in der Medienberichterstattung.

Okay, cool, irgendwas mit KI, auf welcher Basis denn, was macht das?

Und das einfach ein bisschen kritischer zu hinterfragen

und ich glaube, dahin kommen wir nur, wenn wir halt, ja, auch dafür sorgen,

dass jeder so ein bisschen grob eine Idee hat, wie das so funktioniert

und das ein bisschen einschätzen kann.

Ja, das ist momentan halt so eine Übergangszeit, wo teilweise die Erwartungen halt total übertrieben sind, auf der anderen Seite halt nicht klar ist, was alles an tollen Sachen schon geht, wo man sich denkt, wo dann Leute sagen, ja, das geht ja dann auf keinen Fall und man denkt so, ja doch, eigentlich schon, das geht ja schon.

Das ist halt ein bisschen undiintuitiv, was auf einmal funktioniert und was halt nach wie vor schwer ist, weil es halt auch nicht immer proportional ist zu dem, was man sich so vorstellt.

Und es ändert sich halt gerade und dann hat man mühselig gelernt, dass dies oder jenes nicht geht und dann ist das Wissen ja auch nur ein paar Jahre alt und dann plötzlich ist es aber schon veraltet und das geht in anderen Bereichen ja nicht so. Da stimmt das halt alles noch, wenn man das mal gelernt hat und ja, das macht halt viele Verwirrungen irgendwie auf allen Ebenen.

Ja, es ist auf jeden Fall eine spannende Zeit, aber ich glaube, es gibt viele Möglichkeiten und ich glaube auch, es gibt viele Anwendungsbereiche, wo auch wirklich diese neuen Technologien einen großen Unterschied machen können.

Das würde mich jetzt tatsächlich auch nochmal interessieren, also was für Anwendungsbereiche es denn da für alles gibt. Also Chatbots haben wir jetzt irgendwie schon gesagt oder jetzt Nachrichtenportale, die irgendwelchen Content generieren möchten oder sowas.

Ja, also ich meine, eigentlich im Endeffekt, klar, alles, wo du halt Text hast und was damit machen möchtest, aber tatsächlich, was ich immer sagen muss, es gibt natürlich so wow, fancy Dinge, die Leute entwickelt haben, die ganz cool klingen und im Endeffekt vielleicht gar nicht so, ja, so einen großen Unterschied machen praktisch.

Und da gibt es viele Dinge, die uns im Alltag begegnen, die relativ langweilig klingen, wo du aber dann siehst, oh, das macht wirklich was. Oder auch schon allein für eine Firma intern, wenn die irgendwelche Dinge optimieren, die vielleicht vorher von Menschen manuell gemacht wurden oder wo eben entsprechende Fehler passieren können, den man so ein bisschen vorbeugen kann.

ich weiß nicht, die Zentralbanken ihren Zinssatz besser anpassen können.

Das klingt erstmal super lame, ist jetzt nicht,

nee, das ist jetzt als Beispiel so, so beginn, next,

aber das ist tatsächlich was, was entsprechend auch einen sehr positiven Einfluss hat

auf die Welt, auf die Wirtschaft, unser generelles Zusammenleben,

also auch komplett, das ist noch nicht mal so ein Beispiel, wo du sagst,

hier Finance, Evil,

sondern das ist

objektiv zu sagen, okay gut,

davon

haben wir eigentlich alle was.

Jetzt

als Beispiel, aber auch

ja, also

ich würde schon sagen,

die

Sachen,

die relativ gut funktionieren,

sind nicht immer die

sexiesten, wie man so gerne sagt,

aber

ja.

Ja, ich meine, ich kenne es halt

häufig, ich weiß nicht, ob das jetzt die Welt wirklich

besser macht, aber es wird viel verwendet

eben in diesem ganzen Bereich, Werbung

irgendwie automatisieren

in gewisser Weise.

Da kann man sich, glaube ich, schon, da kann man sich tatsächlich

überstreiten.

Was passiert eigentlich, wenn man so etwas wie

Spacey auf Python als Sprache

lassen würde, also Text in Python

hatte eine Programmiersprache.

Also Spacey jetzt an sich

ist schwer zu sagen,

weil natürlich die Implementationen,

die wir jetzt entwickelt haben, die sind natürlich so ein bisschen

getönt auf tatsächlich die natürliche Sprache.

Aber es gibt sehr interessante Projekte

zu

Source-Code

Analyse

mit Machine Learning. Ich glaube GitHub hat dazu

auch was gemacht.

Das war sehr spannend und

ja, es gibt auch ein paar Projekte, wo du

halt siehst, oh cool,

Auch dieser generative Ansatz, der funktioniert ja auch.

Du kannst ja auch sagen, basierend auf diesen Wörtern

oder diesen Tokens im Programmierensinne,

sage die Nächsten voraus.

Und so kannst du tatsächlich, und dann kannst du natürlich als,

ja, du kannst natürlich sagen, was am Ende raus,

das Ding produziert, muss natürlich gültiger Code sein,

der auch läuft.

Und so haben auch Modelle entwickelt,

die natürlich dann

programmieren können, also

quasi reflektieren können, was sie

irgendwie, was andere Leute auf GitHub

gepostet haben. Oder der super

Autocompetition oder sowas, das ist ja irgendwie dann auch

relativ nah dran. Das ist zum Beispiel ein Bereich,

wo ich sage, okay, das macht natürlich Sinn

oder auch, wenn jetzt rein theoretisch, stell dir

vor, du könntest sowas auf, wenn du hast eine

riesen Codebase und du könntest sowas trainieren

für deine eigene Codebase,

das wäre zum Beispiel noch mal cooler

als jetzt, okay, auf der Basis von

vom ganzen Internet oder du hast, du

finden.

an mit so einem relativ

generischen Modell, das jetzt irgendwie auf

GitHub alles mögliche gesehen hat, dann passt das

so ein bisschen an mit deiner Codebase und

dann könnte es zum Beispiel dein Editor sagen,

ja, hier hast du aber einen Namen benutzt,

der irgendwie sieht

komisch aus oder diese Variable

das sieht irgendwie,

das passt nicht und dann kannst du sagen, ah ja,

stimmt, das war nicht so guter Stil

oder stimmt, so machen

wir das ja eigentlich nicht in dieser Codebase. Das ist

zum Beispiel ganz spannend, aber das ist auch wieder

sowas, das ist cool,

Aber ist jetzt vielleicht nicht so

hypig wie, wow,

AI schreibt jetzt,

programmiert jetzt für uns.

Aber man muss eben auch sagen,

auch selbst wenn du eben solche Modelle

trainierst, die eben

die nächsten Wörter vorhersagen, die können super

interessante Dinge ausgeben.

Aber im Endeffekt,

dein Modell ist kein Programmierer.

Dein Modell kopiert

Programmierer.

Genauso wie wenn du jetzt irgendwie

so ein Modell fragst

zu medizinischen

Themen oder so, auch wenn das das ganze Internet

gelesen hat, das kann sich

dann als Doktor ausgeben oder so,

als Arzt ausgeben oder es kann sich als

es kann genau

diesen Text produzieren,

aber es kann nicht unbedingt

Krebs heilen, weil es eben

nur das

repliziert, was

existiert

an Text über

die Heilung von Krebs zum Beispiel.

Und deswegen, ich glaube auch so, brauchen wir bald keine Programmierer mehr, ich finde das ist immer ein bisschen, ich finde auch, man kann sich Webentwicklung angucken, das ist ein ganz gutes Beispiel, da ist einfach ein paar Jahre voraus, die Tatsache, dass jeder, jedes Café jetzt sich eine Webseite einrichten kann, bedeutet nicht, dass wir keine Webentwickler mehr brauchen.

Im Gegenteil, das ist als Beruf gefragter denn je. Es ist nur, ja, bestimmte Teile der Technologie sind halt zugänglicher, aber es gibt nach wie vor genug Leute, die daran arbeiten und es bedeutet auch, dass Firmen viel, viel mehr investieren.

Jede Firma hat große Abteilungen, die sich halt mit Web, Apps, User Experience und so weiter beschäftigen.

Das ist ganz normal.

Und das geht auch nicht zurück, nur weil sich jeder jetzt irgendwie einen Online-Blog einrichten kann.

Was sich halt vielleicht dann doch verändern könnte, ist halt irgendwie die Art und Weise, wie man sowas macht.

Also dass man halt jetzt nicht vielleicht pure Syntax schreibt, sondern vielleicht irgendwie auch logische Gedanken irgendwie formulieren kann

und die Syntax dafür dann übernommen wird vom Alkoholismus.

Ich weiß nicht, ob das wirklich gehen kann.

Ja, also ich glaube auch generell für andere professionelle Anwendungen oder es gibt ja auch viele Leute, die professionell arbeiten, ob es jetzt Buchhalter sind, Anwälte, Ärzte, die benutzen ja auch professionelle Software und die benutzen auch Tools und die benutzen auch Dinge, mit denen sie auf eine gewisse Art irgendwie programmieren.

Auch jemand, der nur in Excel arbeitet oder auch jemand, der sich nur irgendwelche Suchquerys eingibt in irgendeine Datenbank oder so, das ist auch eine Art von Programmieren und das sind auch alles Tools, die man entsprechend verbessern kann oder wo man einfach dem Nutzer bessere Tools zur Hand geben kann, um einfach besser arbeiten zu können.

Und das heißt nicht unbedingt, dass man ein magisches KI-Modell hat, das auf einmal den Anwalt ersetzt oder den Arzt ersetzt oder den Buchhalter ersetzt, sondern…

Bei den einen wäre es mehr, bei den anderen weniger, schade.

Ja, wobei ich mich da auch manchmal frage, ob das nicht so ein Bias ist, den man hat, dass man denkt, dass da bestimmte Berufsgruppen, die halt ein traditionell hohes Ansehen haben, vielleicht gar nicht so unersetzt sind.

also ich denke jetzt gerade an sowas wie Lehrer zum Beispiel,

wo man sich sagt, ja gut, also wenn das

jetzt mit dem, also vorher fand man

das vielleicht mit irgendwie

Remote-Dinge unterrichten oder so,

pui bäh, und jetzt konnte man halt

nicht anders und jetzt haben die Leute gesehen, ah, es geht ja doch,

ist ja gar nicht so schlecht, warum

ist das eigentlich besser,

wenn das jemand, der aus dem gleichen

Dorf kommt, wie ich macht,

sozusagen, und könnte es nicht auch sein,

dass ich da jemandem zuhöre,

der wirklich richtig Ahnung davon hat, der muss aber

nicht unbedingt hier sein.

Hm, also es könnte schon sein, dass sich...

Ich finde es schon spannend, was sich halt ja auch jetzt durch die Situation, die Corona-Situation da entwickelt.

Und man muss auch, was jetzt Jobs angeht, man muss es natürlich realistisch sehen.

Es gibt viele Jobs, die werden wegfallen oder die sind bereits weggefallen und werden durch Technologie generell wegfallen.

Und das betrifft entsprechende Menschen und das betrifft auch entsprechende Bevölkerungsgruppen.

Und eben leider auch entsprechende Bevölkerungsgruppen, die schon eh weniger privilegiert sind als andere.

Das ist die Praxis. So ist es.

Meistens so, aber ich weiß gar nicht, ob es diesmal so unbedingt sein muss.

Oder mich würde es freuen, wenn es auch mal andere trifft.

Aber gut, keine Ahnung. Vielleicht trifft es auch immer die gleichen.

Die Sache, das ist halt immer ein viel tiefgehendes Problem.

Natürlich, grundsätzlich ist es ja nicht schlecht.

Wenn wir alle weniger arbeiten müssten, wäre das toll.

Aber das Problem ist, wie alles in unserer Welt, in unserer Gesellschaft, wird sich dieser Vorteil eben nicht proportional auf uns alle verteilen, genauso wie sich das Geld nicht proportional, uns geht es ja viel, viel besser, wir verdienen alle viel, viel, viel mehr Geld im Schnitt, so, aber das Geld verteilt sich leider nicht proportional auf uns alle, sondern nur auf sehr wenige.

Das heißt, und genauso wird es natürlich, es ist eher naiv anzunehmen, dass sich der Vorteil aus weniger Arbeit und Automatisierung auf einmal schön gleich auf uns alle verteilt, dass wir da alle was von haben.

Natürlich, aber das ist auch was, was man sich bewusst machen muss, wenn man auch an diesen Technologien arbeitet, aber was man auch andererseits nicht mit Technologie magisch lösen kann, wie viele andere Probleme auch.

Also ein paar Sachen stelle ich mir wirklich dann doch, sowas wie der automatische Winkeladvokat oder sowas tatsächlich, das wäre doch was, was man gebrauchen könnte. Man braucht halt nicht mehr diese menschliche Komponente, sondern man hat eine automatische Komponente, die relativ genau weiß, wie man so Sachen wie Gesetzestexte interpretieren kann, die ja, ich sag mal, relativ wenig Interpretationsspielraum lassen sollten, aufgrund der Formulierung eigentlich.

Ich weiß nicht, ist es einfacher, juristische Texte zu verarbeiten?

Also wenn Juristen, das ist ein interessanter Bereich, da gibt es zum Beispiel auch eine Bibliothek, die auf Spacey aufbaut, die ein Entwickler, der eben auch Jurist ist, entwickelt hat. Das ist auch was, was ich sehr toll finde, dass halt in unserem Bereich, da wir natürlich auch, wir wollen sicher gehen, dass auch Spacey relativ, zumindest der Einstieg leicht ist. Es ist unglaublich leistungsstark, aber du kannst auf jeden Fall relativ einfach anfangen und das ermöglicht eben auch Leuten, die vielleicht aus einem anderen Bereich kommen, zu sagen, cool, ich habe mir ein bisschen Programmieren beigebracht, ich möchte jetzt anfangen, in dem Bereich zu arbeiten.

Und da gibt es ein paar Pakete, die halt Entwickler entwickelt haben. Und eins davon nennt sich Blackstone. Das beschäftigt sich eben mit juristischen Texten auf Englisch erstmal. Und da kann man auch ganz spannende Sachen machen.

Und ich glaube, es ist nicht, ja, ich glaube, es ist leider halt nicht so einfach, dass Juristendeutsch oder Juristensprache ist halt so kodiert, dass es eh immer der gleiche ist.

Aber es gibt, ich glaube tatsächlich, es gibt, weil es halt so eine Formel, weil es sehr formulärisch ist, sagt man das so.

Formal, formulisiert.

Formal.

Irgendwie so, ich weiß nicht.

Ja, das war jetzt so ein Anglizismus-Fail, also formulaic wollte ich sagen.

Ah, ja.

Egal, also

es ist auf jeden Fall sehr spannend, aber natürlich, was man

zum Beispiel auch im juristischen Bereich, du musst ja auch

immer bedenken, am Ende sitzt da ein Richter oder so,

wie jetzt in

vielen Fällen, und trifft eine

Entscheidung. Und das ist auch eine Entscheidung basierend

auf einer

menschlichen Interpretation.

Und das steht ja nach wie vor

am Ende. Und

klar, man kann so ein bisschen, natürlich,

man kann Technik nutzen, um Fehler

zu vermeiden. Es gibt viele Dinge,

wo man sagen kann, okay, du hast ganz viele Dokumente,

da kannst du ein Computer drüber lesen lassen,

wenn da irgendein Problem ist, wenn irgendwas anders ist,

wenn irgendwas verdächtig aussieht, kannst du da halt nochmal Aufmerksamkeit ...

Ich glaube, der Algorithmus könnte an der Stelle zum Beispiel

relativ genau vorhersagen, was so der Spielraum realistischerweise denn ist.

Ich meine, man kann jetzt irgendwie in einem juristischen Kommentar nachschlagen

und gucken, wie könnte denn der jeweilige Sachverhalt interpretierbar sein.

Und ich glaube, sowas kann halt der Algorithmus auch recht gut.

Also ich meine, man kann vielleicht diese Recherche, die vielleicht ein Jurist machen kann, aber man muss auch wieder vorsichtig sein, denn am Ende, worauf basiert dein Modell? Dein Modell basiert vielleicht auf anderen Entscheidungen. Dein Modell kann vielleicht replizieren, was in der Vergangenheit entschieden wurde. Ist das denn immer gut?

Das ist ja das Straßenverkehrsrecht trainiert.

übertreiben und dann Leuten zu erzählen,

die ist 99,9%

korrekt oder so.

Was natürlich, schon allein

wenn du sowas hörst, da müssen die eigentlich

die Alarmglocken angehen. Aber

Leute glauben das, weil ja,

ist halt künstliche Intelligenz und

dann soll

diese künstliche Intelligenz entscheidet dann halt, ob

jemand auf Bewährung entlassen wird oder nicht.

Auf der Basis von, keine Ahnung,

unklar, wird ja nicht gesagt, aber

angeblich 99,9%

korrekt oder so.

Und da sind natürlich alle Entscheidungen, die Menschen gemacht haben, inklusive jeglicher Voreingenommenheit, ob gut oder ob schlecht, drin widergespiegelt.

Aber andererseits gibt den Menschen das schöne Gefühl, das sind ja nicht wir, wir müssen ja jetzt die Entscheidung treffen.

Das ist ja das System.

Und das ist sehr, sehr gefährlich.

Und eigentlich, was ich immer finde,

Leute denken immer an diese Dystopie,

wo die KI uns alle, weiß ich nicht, umbringt

oder schlauer ist als wir alle

und die Technologie funktioniert

und die uns dann alle unterdrückt oder sowas.

Aber was viel, viel gefährlicher ist,

ist eine Zukunft, die auch viel früher passieren wird,

wo es so lala funktioniert, wie momentan schon.

Manches funktioniert ganz gut, manches halt nicht.

Aber wo es gefährlich wird,

ist, wenn

die Allgemeinheit glaubt, dass es funktioniert.

Das ist viel, viel gefährlicher als so eine dystopische

KI-Zukunft, wo die Maschinen

alles super machen

und auf einmal super intelligent sind.

Ja, wenn sie super intelligent werden, vielleicht machen sie es dann ja auch gut.

Wer weiß.

Aber auch wenn wirklich die Idee

zumindest, diese Prämisse funktioniert.

Was gefährlich ist,

wenn du hast da ein System, was irgendjemand

so zusammengehackt hat mit allem möglichen

Zeugs, was gar nicht

wirklich funktioniert.

Golden Age für gute Entwickler, die können ja einfach

dann so tun, als haben die ein gewünschtes Ergebnis

und alle Leute glauben, was sie da erzählen.

Ja, genau, das ist unglaublich.

Zum Beispiel, auch hier historisch

vielleicht ganz relevant, auch so für uns,

dann kommt

jemand an und holt deinen Nachbarn ab,

weil das KI-System

das 99,9%

korrekt legt, gesagt hat, dass der ein Terrorist

ist. Dann sagst du dir, ja,

also du hoffentlich jetzt nicht, aber so,

dann sagen sich viele Leute, ja gut, wenn das

halt so ist, ist halt

die Technologie, wenn die, das ist ja

99,9 Prozent, das muss schon richtig sein.

Und

das ist sehr düster und

das ist genauso düster,

wenn das halt, was weiß ich, überhaupt nicht funktioniert

und so ein komisches Modell ist, was man immer trainiert hat.

Ja, aber solche Modelle gibt's

ja schon. Wenn es halt gut genug funktioniert,

wenn es halt gut genug funktioniert, dass man

es einsetzt, aber einem

dann halt egal ist, dass es halt sehr ungerecht ist

und man sich dann auch nicht mehr dafür verantworten muss,

weil es hat ja der Computer entschieden, dass es schon,

Das ist halt so ein bisschen wie eben, man geht zur Bank

und die hat einem gesagt, so, nee, kein Kredit für dich

heute. Schade.

Wo du halt irgendwie so

Bewegungen getestet werden.

Wo du halt von oben so Drohnen hast, die gucken, was du halt machst.

Und wenn du dich halt auf den Parkplan setzt und halt

dem Strom nicht folgst oder sowas, dann

gehst du halt direkt in den Fokus desjenigen, der da

guckt, was denn da los ist.

Weil könnte ja sein, dass da irgendwas

nicht in Ordnung ist. Ja, ich weiß gar nicht, wer das,

von wem dieses Bild war, aber

im Grunde,

wenn man Leuten

vermitteln möchte, was denn jetzt diese

was denn

in Zukunft, wie das denn funktioniert,

dann fand ich das sehr hilfreich,

sich das so vorzustellen, dass man sagt, naja, so

künstliche Intelligenz, wir haben es im Grunde mit denen heute

auch schon täglich zu tun,

so mit denen wir es dann in Zukunft zu tun kriegen

und zwar Unternehmen oder Organisationen,

Behörden, die sind im Grunde schon

sowas. Die sind nur halt sehr

viel langsamer, aber im Grunde

sind die so und

man muss sich das nur vorstellen, die Dinger werden

jetzt halt richtig schnell. So, dann

hat man so eine Vorstellung, was da passieren

wird. Das ist eigentlich

eine ganz gute Analogie auch, weil

okay, momentan auch so eine Behörde, okay, da hast

du entsprechende Regeln, entsprechende

Abläufe und das wird

halt reproduziert von Menschen,

die halt da sitzen am Schreibtisch.

Und ja, und am Ende kannst

du, ein Computer kann das genauso machen, natürlich,

aber ohne

ja.

Ohne Rechtsweg, Rechtsweg ausgeschlossen.

Ja, genau. Computer irrt nicht.

Ja, und natürlich gibt es auch Dinge, die auch natürlich ein Vorteil sein werden oder wo eben vor allem die interessanteren Sachen sind, wo eine Maschine einen Menschen unterstützen kann oder wo zum Beispiel eine Maschine auch nochmal auf ein Röntgenbild drauf gucken kann und vielleicht ein Röntgenbild nochmal entsprechend hervorheben kann, damit sich das nochmal ein Arzt anguckt oder so.

damit halt nichts übersehen wird.

Aber so muss man meiner Meinung nach auch an die Dinge rangehen.

Wenn man sieht, ein neues System kann Tumore erkennen,

kann genauso gut Tumore erkennen wie ein Mensch oder so.

Das heißt ja erstmal,

erstmal heißt das ja nicht,

dass das System überhaupt besser ist als ein Mensch.

Das heißt, dass normal,

du hast das Datenset, mit dem das trainiert wurde,

und dann hast du die Vergleichsdaten,

an denen das ausgewertet wird.

Und meistens, wenn du Menschen nochmal sowas auswerten lässt, die Menschen sind ja auch nicht hundertprozentig genau, die Menschen kriegen dann manchmal so 90% hin oder so. Und wenn du ein System hast, das auch 90% hinkriegt, dann sagst du auch genauso gut wie Mensch. Und genau, in einer ganz bestimmten Aufgabe.

Aber es ist ja nicht in so einem Bereich, wenn du das System einsetzt und das jetzt ausschließlich deine Röntgenbilder auswertet, das ist vielleicht nicht so geil. Aber wenn das System vielleicht irgendwas sieht, was ein Mensch übersehen hat, warum nicht? Kann auf jeden Fall sinnvoll sein.

Und im Bereich so gruselige Anwendungen oder so negative Dinge, ich finde, worüber nicht genug geredet wird, ist so Spam und Malware. Weil das ist tatsächlich schon sehr realistisch und das ist viel destruktiver als jetzt diese Idee, uh, werden uns die Maschinen versklaven.

Ja, oder wahrscheinlich eher andere Menschen, die Maschinen benutzen, um uns zu versklavten. Die haben halt eine Intention, die Maschinen gar nicht so.

Ja, ich glaube, das ist

viel nähere

und realistischere Problem,

den wir uns stellen müssen.

Oder wo sich auch, glaube ich, jeder Entwickler

fragen muss, okay, was mache ich hier?

Wozu trage ich

hierbei? Ist das

gut oder schlecht?

Und ich glaube, das kann man

nicht unbedingt voneinander trennen.

Ich glaube, man kann

nicht sitzen in seinem Vakuum und sagen, oh, ist mir egal,

ich schreibe nur gut. Ja, man kann auch relativ

wenig gegen machen. Also selbst wenn man jetzt irgendwie

vernünftige Lizenzbedingungen nimmt, ob man da

irgendwie dann sich aus dem Schein erhält, das ist schwierig.

Ja, das ist auch

was, wo wir uns Gedanken machen müssen, okay, wenn wir

jetzt zum Beispiel mehr

Funktionalitäten für bestimmte Sprachen zur Verfügung

stellen, wer benutzt das?

Wer

und okay,

wir machen das öffentlich verfügbar, open source.

Wie viele

Menschen gibt es, die diese Sprache sprechen? Welche Regierungen

gibt es? Gibt es da

Problematiken, wo die

Regierung vielleicht, ja, eine

Regierung, die eben zum Beispiel

gegen entsprechende Bevölkerungsgruppen

arbeitet

und vielleicht die Möglichkeit hat,

diese Technologie am effizientesten zu verwenden?

Oder

ist es sinnvoll

für die Allgemeinheit, auch

den einzelnen

Individuen und Aktivisten oder was

weiß ich, die Möglichkeit zu geben,

die Technologie zu benutzen, wofür Open Source

natürlich eine gute

Möglichkeit ist. Also das ist auch

tatsächlich was, wo wir uns in unserem Alltag

Gedanken drüber machen müssen, okay, was

und auch vor allem, okay,

so eine Bibliothek wie Spacey

ist sehr verbreitet,

es ist sehr beliebt,

viele Leute benutzen das.

Zwei Millionen

Downloads pro Monat

gehen irgendwo raus

an irgendwelche Systeme

und an irgendwelche Server

und Dinge, die Leute damit machen.

Und in irgendwelche,

tausende Firmen, die damit auch Dinge machen

und wer weiß, wohin noch.

Ja, es ist schwierig. Ich weiß auch nicht, inwiefern...

Natürlich, also ich bin nach wie vor Verfechter von

Open Source und ich glaube, Open Source als

einerseits natürlich als

Software-Modell, aber eben auch als

und natürlich andererseits, muss man auch sagen, als

Geschäftsmodell. Das ist ja eine...

Open Source ist ja

auch weiter und weiter

verbreitet als

Software-Vertrieb

quasi. Das ist ja auch

eine Realität der Open-Source-Software.

Irgendwie

tatsächlich hat sich das so

durchgesetzt irgendwie.

Ich erinnere mich noch an, das war

an die Halloween-Papers

1997 von Microsoft,

wo sie geschrieben haben, oh nein, das wird

uns irgendwann umbringen langfristig.

Das ist tatsächlich passiert, sehr gut.

Aber auf der anderen Seite, Microsoft heute ist auch wieder

und Microsoft ist einer der Vorreiter

Ja, ja, ja, genau.

Im Bereich Open Source, ja.

Hätte ich mir damals nicht träumen lassen, aber es ist tatsächlich

passiert, ja, erstaunlich.

Was interessant ist, finde ich auch da,

im Bereich Open Source ist, ich glaube,

es wird oft missverstanden, Leute denken, ah,

Open Source ist verbreitet, weil es gratis ist.

Natürlich,

die Tatsache, dass es halt meist frei verfügbar ist,

ist auf jeden Fall

ein Aspekt, aber im

kommerziellen Bereich oder

was Firmen angeht,

die Tatsache, dass es gratis ist, ist nicht

unbedingt der Knackpunkt. Der Knackpunkt ist,

dass es offen ist

und dass man damit

programmieren kann. Der Code ist

da und wenn du diese Entwicklertools hast,

die eben auch Open Source sind, also Open Source

Bibliotheken, zur Verfügung gestellt

wird und die

Tatsache, dass du dich nicht auf

eine Lösung

festlegst oder auf einen Anbieter

festlegen musst und dass

du dich da nicht einschließen lässt

und diese

Autonomie bewahrst. Ich glaube, das ist in der

Praxis tatsächlich, was für Firmen deutlich

entscheidender ist, als die Tatsache, dass es 0 Euro kostet.

Denn es kostet ja in der Praxis

nicht 0 Euro, mit einer

Open-Source-Bibliothek was zu entwickeln.

Und da ist wieder

unglaublich viel Geld rein investiert in

vor allem KI, Machine Learning,

die entsprechende Entwicklung. Das sind top

bezahlte Entwickler.

Weswegen auch zum Beispiel

Entwicklertools und Developer Experience

und Tools, die halt

sowas fördern und

einfach die Entwickler produktiver machen.

großen Einfluss haben können, weil

cool, wenn dein top bezahlter

Machine Learning Entwickler

ein bisschen weniger rumsitzen muss und

ja,

stupide Arbeit machen muss und einfach besser arbeiten kann,

ist das natürlich besser

für alle. Lohnt sich auf jeden Fall, aber

ich weiß nicht genau, also ich habe doch häufig

das Gefühl, dass es da so ein gewisses Marktversagen

gibt irgendwie, weil

wenn man jetzt sich zum Beispiel eben sowas

anguckt wie Pandas oder Django oder

Spaces, weiß ich es gar nicht genau,

Aber so halt Software, die halt als Infrastruktur unter ganz, ganz vielen Produkten und bei ganz, ganz vielen Firmen sozusagen darunter liegt, dann müsste man ja jetzt meinen, so rein aus einer, gut, ich habe jetzt nicht so wirklich Ahnung von Ökonomie, aber so, dann wäre es doch für große Firmen allein schon aus so einem Versicherungsaspekt sinnvoll, die Projekte zu unterstützen, damit ihnen nicht plötzlich die Infrastruktur unter den Füßen wegbricht.

Tatsächlich ist es aber so, dass kaum Firmen das machen.

Das liegt daran, dass die Informationsasymmetrie nicht zu irgendwelchen kompetenteren oder, ich sag mal, Entscheidungsträgern durchdringt, die Budgetverantwortung haben.

Die wollen halt irgendwie Sachen, Projekte bekommen und die Projektmanager, die halt dann die Projekte bestellen oder bezahlen,

die haben vielleicht schon mal von ihren Entwicklern irgendwie so ein bisschen was von oben zugehört, das irgendwie sinnvoll wäre,

aber dann eine Ebene weiter oben sagen dann ganz viele einfach so, ja, nee, aber das bringt uns das irgendwas, das sind die nicht so, ne, das ist schwer.

Tja.

Aber so eine Versuchung ist eigentlich eine gute Idee.

Also ich meine, es gibt ja verschiedene Versuche, das irgendwie zu lösen.

Es ist immer ein bisschen problematisch.

Es ist halt nicht einfach.

Und ich glaube auch, einerseits, man sieht schon, es ändert sich was, auch in großen Firmen.

Denn dieses Klischee vom alten Manager, der irgendwie kaum Computererfahrung hat, das stirbt ja langsam aus.

Du hast jetzt Leute im Management, die sind in ihren 40ern, die programmieren seit ihrer Jugend.

Das ist jetzt nicht mehr seltsam.

Und eben auch diese Idee von so dummen Management, das irgendwie keine Ahnung hat.

Gibt es immer noch, natürlich, aber in vielen Bereichen hast du halt Leute, die kennen sich aus mit Technik.

Und denen kannst du auch nicht mehr irgendwelchen Schwachsinn andrehen unbedingt.

Und die haben da auch Meinungen zu, zum gewissen Grad.

Aber ich glaube, mit Open Source, ein Problem ist, es ist ja alles nicht wirklich standardisiert.

Es gibt verschiedene Projekte, die aus den verschiedenen Motivationen heraus entstehen.

Und manche sind natürlich jetzt mittlerweile gefördert von einer Stiftung.

Das ist ja die Tatsache für viele dieser Scientific Computing-Geschichten auch im Python-Ökosystem.

Und dann gibt es aber andere Projekte.

Okay, das ist halt, irgendjemand hat das mal entwickelt, der hatte da Spaß dran.

Das wurde populär.

Und ja, jetzt sitzt da jemand mit einem erfolgreichen Projekt,

aber keinem nicht unbedingt

einem direkten Pfad

zu etwas Kommerziellem

draußen. Das kann man ja auch

dem Entwickler nicht unbedingt anlasten.

Sagen, okay, gut,

das ist halt

nun mal so und auch, okay, die Firmen,

was willst du da machen?

Es kommt halt immer darauf an,

auch auf die Motivation, die zu einem

Open-Source-Projekt führt. Es gibt andere Projekte, wo

auch Firmen

Entwickler speziell gesagt haben, okay, cool,

ich entwickle das und ich habe eine Motivation,

dass da entweder, wenn das

populär wird, kann ich das für meine Karriere

nutzen. Gibt es ja auch viele Entwickler,

die sagen, hey,

da kriege ich einen besseren Job. Funktioniert ja auch

oft. Oder in unserem Bereich, wir haben es ja auch,

die Idee war immer,

wir wollen eine Firma

gründen und wir wollen

etwas machen in dem Bereich und

in diesem Bereich arbeiten. Und die Tatsache,

okay, Spacey is open source und das ist auch

strategisch so,

Und das ist uns sehr wichtig, aber das ist eben natürlich auch Teil unserer generellen Strategie und wir sagen, okay, wir bauen, wir machen jetzt nicht so ein Open-Core-Ding, wo du halt für bestimmte Features zahlen musst, sondern wir sagen, hey, hier ist unsere Open-Source-Bibliothek, die ist gut, du kannst sie testen, du kannst damit Dinge bauen, wir geben sie dir gratis, weil wir auch glauben, okay, das, wo der meiste Wert drin steckt, sind die Daten, das ist nicht unbedingt oder deine speziellen Daten, die man auch gar nicht unbedingt so verkaufen kann.

Der Algorithmus und die Bibliothek geben wir dir gratis und wenn du unsere Sachen gut findest und damit

baust, haben wir andere Produkte,

die dir auch gefallen würden, wenn du ein

Spacey-Power-User bist zum Beispiel. Wenn jetzt

deine Firma ein System

auf Spacey aufbaut, dann willst du meistens

auch deine Systeme trainieren und dann willst

du Daten sammeln.

Und dann hast du vielleicht auch Interesse

an Prodigy und anderen Dingen, die wir

darauf aufbauen.

Kann Spacey Emotionen erkennen?

Ja, klar.

Das ist eine

allgemeine Frage.

Das ist jetzt erstmal meine Antwort.

Nein, Gott, aber das ist halt sehr aufgeladene Emotionen, ist halt auch immer sehr abstrakt.

Und es ist auch etwas, was sich nicht sehr gut generalisieren lässt.

Du kannst natürlich sagen, du kannst bestimmt ein System trainieren,

auf der Basis von entsprechenden Wörtern, Ausdrücken, wie Dinge präsentiert sind,

Vorher zu sagen, in welche emotionale Richtung ein Text geht, ist ja auch sowas wie Sentiment Analysis, ist ja auch ein Thema, was sehr verbreitet ist, wo die Idee ist, okay, wie steht der Sprecher zu einem bestimmten Thema?

meistens natürlich in der Marktforschung

oder wer jetzt eine Marke Coca-Cola möchte

wissen, wie Leute über Coca-Cola reden oder

keine Ahnung. Aber

ich bin auch, was ich sehr

kritisch finde, sind diese

General Purpose

Modelle, die auch teilweise

viele Cloud-Services anbieten, die sagen,

oh, hier ist Sentiment Analysis für alles.

Denn, selbst ob was

positiv oder negativ ist oder ob was,

welche Emotionen hinter

einem etwas steht, selbst wenn du es messen

könntest, ist unglaublich

subjektiv und unglaublich

themenspezifisch.

Also, ein Beispiel, was ich zum Beispiel, glaube ich,

in meinen Talks manchmal verwende, ist,

du hast zwei Sätze.

Ich liebe Katzen und ich hasse Katzen.

Sind diese zwei Sätze ähnlich

oder nicht ähnlich?

Und teilweise frage ich, okay, kannst

mal gut Publikum fragen und meistens hast du so vielleicht

so 50-50 und für beides

kannst du begründen.

Wenn ich jetzt irgendwie generell

Text analysiere,

Relativ zu allem, was ich in der Sprache, in der deutschen Sprache sagen könnte, ist es unglaublich ähnlich. Zwei Sätze, die kurz sind und meine Haltung gegenüber Katzen ausdrücken. Das ist unglaublich ähnlich, unglaublich speziell im Vergleich zu allem anderen, was ich hätte sagen können.

Aber wenn du jetzt eine Dating-App entwickelst und du möchtest gucken, ob zwei Leute aufgrund ihrer Profile zueinander passen,

möchtest du das als sehr unähnlich ansehen.

Weil ein Katzenhasser und ein Katzenliebhaber passen wahrscheinlich nicht zusammen.

Das sind komplett polare Unterschiede.

Und so ist es auch mit eigentlich sehr, sehr vielen anderen Dingen, die man vorhersagen kann mit Hilfe von Machine Learning und eben auch Sentiment und Emotionen.

Und ich finde, es vermittelt auch so ein bisschen das falsche Bild, eben zu sagen, wir können das jetzt mit einem vortrainierten Modell lösen.

Du kannst das lösen, wenn du es eben wirklich speziell zuschneidest auf das, was du machst.

Okay, also ob der Nachrichten-Informationswert positiv oder negativ ist, kriege ich dann für das jeweilige Unterfach.

Hängt davon ab, wenn ich jetzt zum Beispiel, auf was ich spekuliere, wenn ich jetzt zum Beispiel Gewinn daraus ziehen möchte, wie sich der Kurs in Zukunft von irgendeinem Unternehmen entwickelt, dann spielt es halt eine Rolle, ob ich jetzt irgendwie long sozusagen gehe oder ob ich das Ding short sellen möchte und es kann halt für mich irgendwie unter Umständen eine sehr gute Nachricht sein, wenn Privatanleger in GameStop-Aktien jetzt plötzlich reingehen.

Oder sehr schlecht.

Das Beispiel ist eigentlich auch ganz gut,

weil das illustriert auch so ein bisschen,

was man mit Machine Learning gut lösen kann

und was eben zum Beispiel nicht.

Also wir hatten, glaube ich, mal ein Beispiel,

wo jemand versucht hat auch,

ich glaube, es ging so um Supply Chain Risk und Management.

Das ist auch sowas, klingt ein bisschen öde,

aber ist tatsächlich was, was viel wert ist.

Wenn du eben sagst, okay, du hast jetzt hier einen Händler in China,

von dem beziehst du Waren, mit denen du dann irgendwas machst

Und dann hast du hier jemanden in Russland und die importieren aber von da und da und du möchtest dann wissen, wenn jetzt da und da ein Streik ist oder hier irgendwie ein Schiff untergeht oder so, wird das in der Zukunft zum Beispiel dein Unternehmen beeinflussen oder so.

Und das kannst du zum Beispiel, ein Teil davon ist, du möchtest dann Nachrichten analysieren und gucken, was ist los. Es kann ja sein, in irgendeinem kleinen Ort, in was weiß ich wo, wo jetzt zufällig gerade irgendwas hergestellt wird.

Ja, wenn die Kategorie Emotionen katastrophal werden würde, möchtest du das für den lokalen Ort dann wissen?

Ja, oder irgendwie da und da passiert was, das möchtest du wissen und dann irgendwie zusammenhören.

Und genau, also es gab irgendein so ähnlicher Fall war das.

Und es ging einem auch darum, die Firma wollte rausfinden, okay, was ist jetzt gut für ihr Unternehmen?

Und das ist natürlich so unglaublich abstrakt.

Und der erste Schritt war, okay, die haben dann Trainingsdaten erstellt,

wo sie alles, was gut für ihr Unternehmen ist, hervorgehoben haben.

Inklusive Sachen, die komplett abstrakt waren.

Also jetzt irgendwie, oder Dinge, die schlecht sind fürs eigene Unternehmen.

Wenn dein Konkurrent irgendwas auf den Markt bringt oder so, ist das schlecht für dich und das weißt du und das ist aber was, was du nicht unbedingt einem Modell auf Basis des lokalen Kontexts beibringen kannst und dein Modell wird nicht unbedingt in der Lage sein, so zu generalisieren und zu wissen, die und die Firma ist dein Konkurrent und die Tatsache, dass die ein Produkt veröffentlichen, ist schlecht.

Aber die Tatsache, dass vielleicht dein Lieferant was veröffentlicht, ist gut.

So funktioniert das einfach nicht.

Das wird auch ein bisschen klarer, wenn du dir überlegst,

wie funktioniert das Modell und auf welcher Basis trifft das diese Vorhersagen?

Was guckt sich das an? Worauf basiert das?

Wie wird quasi die Information da enkodiert?

Und da geht es dann wieder zurück in so, wie breche ich das runter?

Oder okay, du kannst sagen, ich möchte ein Modell trainieren, das Kleidung für Erwachsene, Kleidung für Kinder, Kleidung für alte Leute oder so erkennen kann und entsprechend ordnet.

Funktioniert wahrscheinlich nicht so gut, wie wenn du sagst, ich möchte nur generell Kleidung erkennen und habe dann andere Prozesse, die das so ein bisschen weiter runterbrechen.

Denn der Kontext gibt da oft nicht so viel her und viel benötigt unglaublich viel Wissen und ist noch nicht mal so eindeutig.

Katastrophale Beispiele waren immer sowas, also aus einer Sicht von einem Redakteur sozusagen oder wie man das verkaufen möchte, macht das durchaus Sinn, dass man Handys mit und ohne Vertrag in zwei unterschiedliche Kategorien packt. Aus Sicht von Machine Learning ist das scheiße, weil das funktioniert einfach nicht richtig.

Ja genau, sowas. Okay, gut, das kannst du dann vielleicht später machen oder du hast eine Datenbank, wo du diese Information abrufst. Und selbst wenn es neue Modelle, Architekturen und eben auch vielleicht vortrainierte Gewichtungen gibt, die das eben vereinfachen, ist immer noch die Frage, okay, willst du das tatsächlich so lösen?

Du kannst dein Problem unglaublich komplex formulieren, quasi von der Machine Learning Sicht, dann da so ein richtig krasses Modell draufschmeißen, das dann auf krassen Hochleistungsrechnern laufen lassen und damit ganz gute Resultate erzielen, wenn es eigentlich viel einfacher gewesen wäre, das einfach ein bisschen besser zu strukturieren oder ein bisschen logischer runterzubrechen.

Das ist auch die Tatsache, dass gewisse Dinge

jetzt möglich sind, heißt nicht unbedingt,

dass du es so machen musst, denn oft

wirklich

der Großteil liegt darin,

wie man das Problem definiert.

Und ein bisschen

ist natürlich, natürlich gibt es Unterschiede

und auch selbst wenn du, selbst sowas wie ein, zwei

Prozent Unterschied in Genauigkeit

kann tatsächlich einen wirklich großen Unterschied machen,

generell, also das hat einen großen Einfluss,

aber

man macht es sich viel schwerer, wenn du halt dein Problem

nicht definierst

wenn du es halt dem Modell schwerer machst, als

du es müsstest.

Ja, ja.

Aber im Grunde so ein bisschen

eben dieses Modell bei Spacey

klang für mich auch so nach dem,

das ist ja auch ein Modell, das viele, viele

Open-Source-Projekte

oder viele Leute, die dann mal

ein Open-Source-Projekt, das dann

erfolgreich geworden ist, gestartet

haben, womit sie dann Geld verdienen,

halt sozusagen so ein bisschen Consulting.

Also es ist bei Spacey ein bisschen anders mit dem

Annotations-Tool, aber es ist halt auch im Grunde

so Dienstleistungen um

das Open-Source-Projekt

herum quasi.

Ja, also generell,

wir haben anfangs mal ein bisschen

Consulting gemacht, vielleicht, also

dann haben wir uns hauptsächlich auf Produkte

spezialisiert, vielleicht machen wir in Zukunft

mal ein bisschen mehr, weil es eigentlich immer ganz cool ist, auch so ein bisschen

die Connection zu haben

zu den Nutzern, aber

eine Sache, die uns immer ganz wichtig war,

war Support, finde ich

immer bei vielen

Dingen ein bisschen kritisch. Also es gibt Dinge,

so Infrastruktur oder so. Ja gut,

da braucht es, da macht es Sinn, jemanden zu haben,

dem du bezahlst, der dir das dann alles einrichtet.

Aber bei anderen

Tools, vor allem Entwicklertools,

wir

möchten ja, dass es, dass

das Tool auch wirklich benutzt wird. Es ist gut

für uns, wenn natürlich Leute unsere

Open-Source-Tools benutzen. Aber wenn

jetzt unser Hauptgeschäftszweig

Support ist, bedeutet das natürlich,

dass wir mehr verdienen, wenn Leute mehr Support

brauchen. Aber natürlich, wenn Leute

mehr Support brauchen, dann verdienen wir

aber auch andererseits weniger, weil es dann natürlich viel

weniger Leute das Ding nutzen.

Und ich finde das mal ein ganz komischer Kreislauf,

der meiner Meinung nach nicht so gut funktioniert

für viele Entwicklertools.

Aber natürlich, Dinge drumherum

ist gut. Und Open Source ist ja auch eine gute Art und Weise

zu zeigen, hey, wir können

gute Software bauen.

Also, wenn man das

strategisch so angeht, kann es

gut sein. Also, ich bin jetzt nicht der Verfechter, der sagt,

oh, jeder sollte jetzt hier seine ganze Freizeit

mit Open-Source-Projekten verdienen

und quasi gratis für Firmen arbeiten.

Aber es ist durchaus so,

dass man es auch strategisch angehen kann

und das auch ein Pfad sein kann,

erfolgreich zu sein und auch was zu machen,

was vielleicht einem Spaß macht.

Ja, im Prinzip ist das ja super, genau.

Also das ist ja eigentlich sozusagen,

würde ich ja schon mal ein bisschen

Traumleben irgendwie beschreiben

wollen, weil das ja, ich meine, das

stellt man sich halt so vor. Man kann halt das tun, was man möchte

und verdient damit halt genug Geld,

dass das halt das möglich macht.

Und wenn das funktioniert, ist es natürlich

großartig.

Ja, ich meine, ich glaube, man muss halt schon,

ich glaube, es macht Sinn, es auch so anzugehen, dass man

halt auch, man sollte schon ein Ziel

haben, wenn man

ein Projekt

startet. Und ich glaube, es ist auch nicht falsch,

zu sagen, okay, ich gehe das an, entweder

ja, ich hab ein

Open-Source-Projekt, ich möchte, ich sage Leuten,

hey, benutzt das. Das ist ja auch so eine Sache.

Okay, sagst du Leuten, mein Projekt ist geil,

benutzt das, ihr solltet da alles drauf aufbauen, oder

sagst du, oh, das ist nur so ein Nobby-Projekt,

ich hab meinen Code einfach veröffentlicht

und wenn jemand anders das nützlich findet,

benutze es gerne. Oder

dieses ein bisschen oldschooligere Modell, wir

bauen was zusammen.

Das sind so für mich die drei Arten

von Open-Source. Einmal, okay,

ich hab was gebaut, wenn jemand,

ich geb's dir umsonst, wenn du Lust hast,

vielleicht find's ja nützlich, oder wir

bauen als Community, entwickeln wir was

gemeinsam, oder wir

haben ein Produkt entwickelt und wir geben es euch umsonst.

Und

ich glaube, davon hängt es halt auch

ab, wie, ja, die Erwartungen,

die man als Nutzer haben sollte an das Projekt.

Und ich glaube, das wird halt auch oft nicht offen

kommuniziert. Und da,

das ist, wo viele der Missverständnis passieren,

wenn man

eben, ja, ein so ein persönliches

Projekt betrachtet, wie ein kommerzielles Projekt,

oder ein kommerzielles Projekt betrachtet,

wie so ein Community.

Oder wenn halt die Nutzer

oder die Maintainer gar nicht sicher sind,

was sie überhaupt sind.

Das ist halt genau dann wahrscheinlich dieser

Mismatch, dass dann die Nutzer denken, es ist ein