Transcript: Große Sprachmodelle: GPT-4, LLaMA & Co 🎙️

Ja, hallo liebe Hörerinnen und Hörer, willkommen beim Python-Podcast, Episode 49.

Heute geht es um Machine Learning, mal wieder, wir haben lange keine Folge mehr dazu gemacht.

Ich würde sagen, LLM, Large Language Models, könnte man.

Ja, irgendwie so.

ChattyPitty hat einige komische Vorschläge gemacht von den Titeln.

Vielleicht kriegt er später noch eine bessere.

Vielleicht besteht die Episode nur daraus, dass wir die alle nacheinander vorlesen,

immer neue generieren lassen mit Ausgaben, die es erzeugt hat.

So ungefähr. Und wir lesen auch alles von unserem Skript ab.

Nein, es wird im Hallo logen.

Hallo, willkommen Dominik.

Hallo, wie geht es?

Wir haben heute auch einen Gast dabei.

Heute haben wir einen Gast, genau.

Hallo Manuel.

Hallo.

Hallo.

Vielleicht magst du dich ganz kurz vorstellen.

Hallo, ich bin Manuel.

Ich komme eigentlich aus Deutschland, aber wohne in den USA seit ein paar Jährchen

und bin Entwickler.

Habe eine lange Zeit Python programmiert, in den letzten zehn Jahren aber jetzt nicht mehr.

und momentan

arbeite ich bei einer Firma,

die Bäume verkauft,

aber benutze irgendwie im Alltag dafür

dann Large Language Models,

nämlich die, wovor ich eigentlich

PHP und JavaScript

programmiere meistens.

Ja, schön, dass du das weißt.

Du hast auch wunderschöne Sachen im Internet stehen,

auf denen man sehr viel Informationen sammeln kann.

Genau, schon relativ viel mit den

Large Language Models gemacht.

Und diese Folge wird eine Folge,

und Jochen unterhalten sich über die Programmiersprache Python

von AI eigentlich sagen, Jochen?

Also ich, es gab Umfragen

dazu auf Mastodon zum Beispiel

und da hat sich halt so

durchgesetzt, dass die Leute gerne hätten, dass man

die Dinger LLMs oder

Large Language Models nennt und

ich ehrlich gesagt bin nicht so

begeistert von diesem ganzen AI-Ding, weil

ich immer das Gefühl, also früher fand ich das schon doof.

Wie man die AI sagt, ist Marketing

oder Management. Nein, das ist halt immer das Zeug, was man

noch nicht kann. Wenn man es nicht kann, dann nennt man es

irgendwie anders. Vor sieben

Jahren war es ja genauso, wenn die ganzen

als die ganzen Conventional-Dinger

irgendwie rauskamen, da war auch alles AI

und jetzt ist irgendwie alles Vision.

Ja, also jetzt ist es halt Sprache

und davor war es auch schon mal ein paar Mal

und es gab ja schon mal den ersten AI-Winter

und dann schon mal, also diese

überdrehten Erwartungen irgendwie, die die anheizen.

Das ist jetzt eher, ich habe so manchmal das Gefühl,

dieses AI, das ist halt so ein Clown-Car

so ein bisschen. Ja, ist doch super, da kann ich

verkaufen, Match Case und AI.

Zirkus-AI. Da sitzen schon ganz

viele komische Leute drin und ich weiß nicht, ob ich mich jetzt

da auch noch in dieses Auto mit reinzwängen muss.

oder das will ich vielleicht nicht machen.

Genau, Twitter.ai war tatsächlich der erste

Vorschlag für diese Episode, vielleicht müssen wir darauf zu sprechen kommen.

Ja.

Wir machen gar keine E-I.

Ich finde, dieser KI-Begriff

tut dem Ganzen auch irgendwie so ein bisschen

von seiner Magie nehmen, weil es im Endeffekt

ist ja was relativ Prosalsches, dass man

jetzt einfach mit Sprache

arbeitet und das ist ja das

Faszinierende daran, dass es jetzt irgendwie

in dem Fall ganz besonders

diese eine Technologie eben so viel

ermöglichen eigentlich auch gar nichts mit den ganzen

anderen Bereichen von KI,

die sonst standardmäßig

dazukommen, irgendwie zu tun hat.

Ja, genau.

Insofern, also ich versuche diesen Begriff irgendwie zu

vermeiden, ja,

aber

manchmal geht es auch nicht so richtig.

Also dann schieß doch mal einfach mal kurz mit deinen

kurzen News, dann können wir nämlich danach wieder auf das

spannende AI-Thema zurückkommen.

Ja, vielleicht haben andere auch welche. Ich gucke einfach mal

hier so durch die Dinge. Hast du gerade diesen

lustigen Brief irgendwie? Vielleicht

den irgendwie viele Leute unterschrieben haben.

Vielleicht sollte man da am Anfang anfangen, Jochen, oder?

Am Anfang.

Die ersten News sind doch Chat-GPT ist veröffentlicht worden

und das ist eine der am schnellsten wachsenden Technologien der Welt.

Also die haben irgendwie schneller eine Million Benutzer gehabt als...

Ja, oder jetzt inzwischen 100 Millionen, wobei das wohl nicht stimmt.

Also da muss man immer gucken, was da so an Marketing transportiert wird,

was da tatsächlich, also

diese Zahl 100 Millionen

zum Beispiel, die stammt halt von den

Herstellern irgendwelcher

Browser-Erweiterungen,

die halt tracken, was die User so machen

und ich meine, die Gruppe der Leute, die sich sowas installieren

oder die auf solche komischen Dinge reinfallen oder draufklicken

ist halt nicht repräsentativ,

hoffe ich mal für den Rest der Leute.

Insofern ist das ein bisschen übertrieben,

wenn die da, also

die echte Zahl, irgendeiner hat sich verplappert,

ich glaube Kevin Rose oder so

und die echte Zahl ist irgendwie ein Drittel davon

ungefähr vielleicht. Aber es ist immer noch sehr beeindruckend.

Immer noch sehr beeindruckend und immer noch

sehr schnelles Wachstum. Und

es gibt auch immer noch Leute, die noch nicht wissen,

was ChatGPT ist.

Deshalb sollte man vielleicht ganz kurz noch

erwähnen, was ChatGPT denn

überhaupt ist, aus der Sicht

eines Benutzers.

Ja.

Kann es jemand erklären?

Naja, also eigentlich hast du so ein

Chatprogramm, gibst

eine Frage ein und bekommst eine relativ

hochwertige, würde ich es jetzt mal nennen, oder sprachlich hochwertige Antwort.

Ob sie korrekt ist, ist nicht der Fall.

Das ist ja jetzt nicht besonders beeindruckend.

Das gab es ja schon lange.

Warum ist Chat-GPT jetzt was Besonderes?

Also die Antwort ist halt

neu.

Bei den alten Chatbots waren die ja meistens

so ein Match-Case-Statement irgendwie.

Also richtig frei

war sie jetzt nicht.

Das ganze Wissen, was da drinsteckt, ist sehr interessant.

Wissen, ja.

Ich glaube einfach,

Weil es halt so gut jetzt funktioniert,

dass es sich wie ein

richtiges Ding anfühlt.

Wenn man länger

sich damit auseinandersetzt, dann

ist es schon klar, dass es irgendwie

ein Computer ist, aber

auf Anhieb versteht es Sprache

einfach wie zu gut, dass es

im Vergleich zu den vorigen...

Ja, ich fand einen Vergleich

sehr gut, den jemand auch, ich weiß

gar nicht mehr wer, gebracht hat.

Das fühlt sich so ein bisschen an wie damals,

als man so AltaVista und sowas gewohnt war oder Excite und dann Google kam und man da Sachen eingegeben hat

und plötzlich hat man Dinge gesehen, die tatsächlich irgendwie so Ergebnisse, die richtig relevant waren.

Genau, also diesen Vergleich fand ich gar nicht so schlecht, dass da Leute gesagt haben,

okay, es fühlt sich so ein bisschen an, wie Google nachzuverwenden, nachdem man halt AltaVista und Excite

und diese ganzen anderen Hotbot-Dinger vorher gewohnt war.

und das fühlt sich einfach an,

es funktioniert jetzt deutlich besser als vorher.

Das ist schon toll. Also diese Sachen,

der Copilot hat mir schon mal drüber gesprochen,

auf einmal kann das, das ist einfach bahnbrechend super.

Und das jetzt halt so als allgemeines Chat-Interface

zu benutzen zu können.

Also wie arbeitet ihr da tatsächlich mit?

Benutzt ihr das?

Copilot? Ja, also nicht nur Copilot, sondern auch ChatGPT.

Ja.

Ich benutze das auf jeden Fall irgendwie tagtäglich.

Copilot eigentlich auch, seitdem es

später war.

und man kann ihm halt Sachen fragen und selbst wenn es halt nicht richtig ist, was er da sagt,

also man kann sich halt an so ein Problem rantasten, an verschiedene

architekturelle Lösungen oder sowas und dann halt selber dann,

wenn man so ein bisschen weiß, was man tut, auditieren, was man haben möchte

und das ist einfach so viel Zeitersparnis und

total großartig, also ich finde das einfach wirklich gut.

Wobei ich sagen muss, dass ich finde, also ich finde

das, also ChatGPT-Interface besser als

Copilot. Also Copilot habe ich immer so ein bisschen

das Problem, das passt oft nicht so richtig zu dem, was ich

da hinschreiben würde. Also manchmal ist es ganz gut,

aber manchmal... Wie benutzt du denn

Copilot? Das wäre jetzt interessant.

Naja, also eben oft sehe ich halt eine Empfehlung,

nachdem ich einen Funktionsnamen hingeschrieben habe

oder halt, ja, ich fange halt mit

irgendeiner Funktion an. Wahrscheinlich müsste ich zuerst einen Kommentar

schreiben und dann... Ja, also ich mache das auch so. Ich mache halt

Funktionsnamen und dann Kommentar und dann

ist es ziemlich gut. Ja, okay.

Das hört auch wichtig ist

bei Copilot, gerade wenn du

jetzt eine bestimmte

Library benutzt, da irgendwie einen bestimmten

Kurzverfahren hast und so weiter, ist halt

die Datei auch aufzumachen

in deiner

IDE, weil er tut dann sozusagen

die vorigen besuchten Dateien und wo du

ein bisschen rumgebraust bist,

kriegt er halt auch mit.

Das heißt, wenn du ein Beispiel von dem hast,

was du jetzt eigentlich schreiben willst

und das vorher dir kurz anguckst,

dann wird er das dann nachher auch

sozusagen wiederverwenden.

Ja, das ist spannend, weil ich benutze

auf einem Rechner für einen

großen Kunden tatsächlich Microsoft Teams

und das ist ein Microsoft-System

und er benutzt tatsächlich auch Teams Chat History

dafür, für den Copilot.

Ist mir heute aufgefallen.

Das war auch schon ein bisschen krass

dafür zu hören.

Es gibt so einen

Artikel online, wo ein Typ sich das

ein bisschen mal angeguckt hat,

ein bisschen reverse-engineert, was

dieses VS Code Plugin da eigentlich

überhaupt macht und das ist echt spannend.

Also es ist irgendwie,

Da kommen wir bestimmt später nochmal drüber

bei diesen ganzen Programmieren.

Den Kontext, den du mitschickst,

ist halt extrem wichtig.

Das merkst du auch bei ChatGPT

zum Beispiel, was richtig gut funktioniert, ist halt

klebt man ein bisschen was von deinem Code rein

und stellt dann die Fragen.

Und dann kommt halt irgendwie

in deinem Code-Style mit deinen Variablen-Namen

mit deiner irgendwie

mit deinem Stil irgendwie jetzt

mit Async umzugehen.

Kann auch keiner sagen, dass du zum Clipboard gekommen bist bei mir?

und unterhalten nicht irgendwie aus der History.

Wahrscheinlich eher Clipboard als jetzt

irgendwie Teams rumfummeln, weil

das würde ja irgendwelche, keine Ahnung.

Ja, okay, aber es hat halt tatsächlich

Teile davon. Ja, okay, interessant.

Ja.

Na gut, das sind beides Produkte von der selben Firma.

Man weiß es nicht, aber...

Also ich benutze das gar nicht.

Weder Copilot noch JetGPT.

Das ist für mich eher Kuriosität.

Okay.

Ich meine, liegt das an PyCharm?

Das kann auch sein.

Es gibt ja auch PyCharm, das ist ja nicht so gut.

PyCharm-Plugin gibt es ja, ist ja nur IntelliJ.

Ja, ja.

JetBrains.

Aber im

VS-Code gibt es ja noch dieses

Beta-Copilot-Labs,

wo die so ein paar Versuche haben,

irgendwie was anderes zu machen.

Da gibt es auch ganz spannende Sachen, wo sich das

irgendwie hinentwickeln wird.

Meiner Meinung nach.

Ich fände sowohl die Copilot-Interfaces

als auch Chat-GPT sind für verschiedene

unterschiedliche Sachen gut

Ich merke es auf jeden Fall

ich bin jetzt so Tab-Completion-Programmierer

Ich weiß ziemlich genau

dass er meistens immer genau das

Completed, was ich

erwarte irgendwie, weil ich ja eigentlich auch viel

einfach irgendwie CRUD-Apps

mache. Also wenn die Funktion

heißt Get-Orders, dann kommt

halt auch der Select raus.

Ja, man macht halt eine Get-Funktion, danach

kommt Post-Vorschlag oder sowas und das ist halt voll

super. Das ist echt

angenehm und das stimmt meistens relativ gut.

Also deswegen, Johannes, ich kann das sehr nur

empfehlen.

Ich hab das mal auch gesagt, aber es

hat einfach nicht

irgendwie in meinen Workflow reingepasst. Ich hatte nicht

das Gefühl, dass ich dadurch...

Okay.

Ich hatte das Gefühl, dass anstatt, dass ich programmiere,

muss ich jetzt diesen Copilot hinterher

aufräumen und das...

Interessant.

Ich glaube, das braucht

echt irgendwie...

Auf jeden Fall mal trainieren

und auch irgendwie umdenken. Also zum Beispiel das

Copilot, das benutze ich eigentlich immer nur,

um Code zu schreiben, die ich schon im Kopf habe.

Also ich weiß, okay, das habe ich jetzt eigentlich schon geschrieben.

Genau, ja.

Wenn ich jetzt einen Tests, wo ich irgendwie teste,

das, dann kann ich relativ

schnell Tab completen, weil wenn es nicht dem

entspricht, was ich eigentlich geschrieben hätte, dann

merke ich es sofort. Und immer

wenn ich jetzt irgendwie sowas

frage, wo ich eigentlich

nicht genau weiß, was ich haben will, dann

verbringe ich eigentlich deutlich viel

mehr Zeit damit jetzt zu verstehen, was

da irgendwie kurz auf den Bildschirm

kam, als es jetzt irgendwie

selber zu schreiben.

Also geht mir aus, dass eigentlich nur die Schreibmaschine genau das

aufschreibt, was ich eigentlich selber hingeschrieben hätte.

Und dass es gar nicht so für neue

Sachen machen, dafür benutze ich tatsächlich eher Chat-GPT,

aber ja, lieber Johannes,

ich habe einen Namen für das, was du machst, also im Vergleich,

ich würde sagen, du bist jetzt der analoge Programmierer.

Ja, das ist

handhergestellter

Programmierer-Code.

Handcrafted-Code.

Art-Designer, irgendwie, genau.

Genau, das wird eine Kuriosität,

die man auf Handwerkermärkten stehen kann,

die viel zu viel kostet, aber

jeder muss was davon haben.

Hast du dir schon Fleet angeguckt, wenn du noch bei Python bist?

Ne, Fleet habe ich mir nicht angeguckt

Was ist denn das?

Neue JetBrains IDE

Ja, neu ist eine etwas abgespechtere Version

Ich habe mir die mal vor zwei Monaten

oder sowas kam, die mal raus

und dann so angeguckt und dann so

Ah ne, noch so weit

Ich finde es ja eh

wie das Code, da haben wir ja schon ein paar Mal drüber gesprochen

aber das ist ja Geschmackssache, da haben wir ja auch schon ein paar Mal drüber gesprochen

Ja

Wir wollten aber eigentlich ein bisschen mehr News machen

Also genau, ChatGPT

Ich meine,

die Neuigkeit bei ChatGPT

ist ein bisschen, also im Grunde ist es nur

GPT-3, das ist so ein Large-Language-Model.

Das gibt es schon

eine ganze Zeit.

Diese ganze GPT-Serie, wie heißt die?

General Purpose Transformer, irgendwas.

General Pre-Train.

Pre-Train.

Generative

Pre-Train Transformer ist es, glaube ich.

Richtig.

Die gibt es ja schon ein bisschen länger, aber

mit der dritten Version

wurde das dann halt eigentlich

beeindruckend gut,

beziehungsweise,

naja, es hat halt so Dinge, also was

ich halt total faszinierend finde,

das hatte ich am Anfang gar nicht so auf dem Schirm,

das ist mir dann erst so nach und nach klar geworden, als ich dann

Leuten zugehört habe, die darüber geredet haben,

dass man da Sachen gefunden

hat, die das Ding kann, die man,

wo man nicht wusste, dass das können wird.

Also sowas wie zum Beispiel

Schreib mir ein Gedicht?

Nee, nee, das war,

also das ist,

Das war schon völlig klar, dass das geht.

Was halt nicht klar war, ist halt sowas wie

Fewshot Learning. Das hat irgendjemand

zufällig rausgefunden, dass das geht.

Jetzt musst du aber noch ganz kurz erklären, was das denn bitte, Fewshot Learning.

Ja, dass man halt irgendwie

quasi ein paar Beispiele angibt.

Also sowas wie, übersetzen wir mal

von einer Sprache in die andere und hier sind

ein paar Beispiele und macht das in dem gleichen Stil

und dann macht es das halt quasi einfach so.

Das war, soweit ich das weiß,

nicht klar, dass das dann

rausfallen würde, als man das Ding trainiert hat.

Das ist halt etwas, was man halt Monate später entdeckt hat, dass das halt geht. Oder was halt auch man irgendwie deutlich später entdeckt hat, dass es das tut, ist, also das ist auch ein Phänomen, das kennt man von Menschen, wenn man denen sagt, also zum Beispiel Ständen, wenn du hier eine Prüfungsaufgabe hast und wenn du dir eine Antwort hinschreibst, dann schreib dich nicht einfach so hin, sondern erkläre Schritt für Schritt deine Lösung.

Wenn man das macht, dann werden die Ergebnisse besser

Und das ist bei dem Ding auch so

Wenn man GPT-3 sagt

Gib nicht einfach die Antwort aus

sondern erklär mal bitte Schritt für Schritt

wie du zu deiner Lösung gekommen bist

dann werden die Ergebnisse besser, die man da sieht

Und das läuft so unter dem Begriff Chain of Thought

Und das ist auch etwas

was man erst hinterher gemerkt hat, dass das funktioniert

Und wer weiß, vielleicht gibt es noch ein paar Sachen

die das Ding kann, die man jetzt noch gar nicht gefunden hat

Und bei GPT-4 ist das halt

ganz sicher so, dass man da

wahrscheinlich noch Sachen finden kann, die jetzt noch nicht klar sind,

dass es das kann, aber

genau.

Was ist jetzt bei ChatGPT

im Vergleich zu GPT, also diesem hohen

Modell? Ich weiß nicht, wie schnell wir jetzt

irgendwie in die Tiefe gehen wollen, aber da kann ich

einiges für erklären. Vielleicht später

einfach. Ja, genau.

Also der Unterschied ist im Groben,

dass man halt jetzt dem Ganzen so ein bisschen

ein freundlicheres Interface gibt

über ChatGPT, dass man halt

nochmal einen zusätzlichen

Trainingsschritt hat, der halt dazu führt, dass

die Antworten, die das ausspuckt,

besser...

Also zwei zusätzliche

Schritte, um das

sozusagen gesellschaftsfähiger

zu machen. Sowohl in der Qualität

der Antworten, als auch wie es kommuniziert

und eben, dass dann auch

bestimmte Inhalte irgendwie nicht

an den Tag kommen. Wobei das

echt

nie

funktionieren würde.

Ja, man muss ja nicht

als so tief stochern,

um da irgendwie Dinge rauszukriegen.

Genau, und ja,

also aber ich glaube, ChatGPT

ist halt für die meisten Leute irgendwie

tatsächlich so ein Ding, was man einfach verwenden kann, wo man

sehen kann, was das Potenzial eigentlich ist.

Deswegen ist das halt auch so populär und so

in den News irgendwie. Bei GPT-3

konnte man das vielleicht auch schon sehen, aber da musste man

sich halt anstrengen. Und

weil so oft hat es dann einfach nur das repeated,

was man irgendwie ins Pomp reingeschrieben hat oder

das Wort gesetzt, eine Frage geschrieben, dann hat es die Frage einfach

weitergeschrieben. Also es ist halt irgendwie

und Python.

und Jochen unterhalten sich über die Programmiersprache Python

und Jochen unterhalten sich über die Programmiersprache Python

for Learning für andere Sachen macht,

dann zeigt das Ding halt Eigenschaften und Fähigkeiten,

die man nicht so erwartet hat. Also so ein bisschen

eine Lootbox.

Man wirft halt Geld rein,

man kann ja sagen, wie viel das kosten wird, um

einen bestimmten Fehler zu erreichen

und dann kriegt man halt noch zusätzliche

Goodies irgendwie, die da rausfallen, die geldwert

sind. Und

dass man das so gut vorhersagen kann, ist halt

so ein bisschen der Grund dafür, warum da jetzt alle so

viel Geld investieren.

Und genau.

Und da wird viel Geld.

und da wird viel Geld investiert.

Das sind auch beeindruckende Neuigkeiten.

Nachdem ChatGPT

publik geworden ist

und auch gut funktioniert hat, hat Microsoft

direkt eine Milliarde Dollar in

OpenAI investiert und

49% davon gekauft.

Ich würde sagen, das war ein Schnäppchen.

Ja, es kann so oder so gehen, oder?

Ja, das war ein Tempest.

Und gleichzeitig auch noch ein paar Teams

entlassen, die irgendwie für

AI, Ethik zuständig sind.

So ein bisschen Sparen.

Nein, was ist das denn?

Ethik?

Ja, genau.

Es ist auch News.

Eine wichtige News ist halt,

dass das so in den News ist.

Das ist ja schon eine ganze Zeit.

Aber momentan dreht es halt wirklich so schnell

in Zeitungen

und auf allen größeren Medien.

Und da gab es zum Beispiel letzte Woche

diesen Brief.

Vielleicht mal ein bisschen Pause machen,

auf die Bremse treten.

Der Brief.

Welcher Brief?

Ja, genau, also das ist halt irgendwie so, das ist von dem Max Tickmark, da gibt es so ein Institut, die haben das Ding irgendwie aufgesetzt, das ist auch so ein bisschen eine komische Institution, wo sie halt schreiben, naja, wollen wir nicht irgendwie mal ein bisschen quasi langsamer machen, bis wir wissen, wie wir das besser regulieren können und so.

und das haben dann ganz viele Leute unterschrieben, teilweise Leute,

die wirklich Ahnung davon haben, so

Joshua Benjo und so,

teilweise auch komische

Leute, Elon Musk zum Beispiel hat es auch unterschrieben

und jetzt ist halt

die Frage, wie bewertet man das?

Viele halten es auch für blöd,

aber was mir

dabei halt vor allen Dingen auffällt, ist

irgendwie, naja, also

wie hat das auch jemand auf Mastodon oder Twitter

hat dazu geschrieben, also diese ganze

AI-Panik, irgendwie

in letzter Zeit riecht für mich

irgendwie ein bisschen streng nach

Marketing. Also ich meine, das ist

halt auch sehr gutes Marketing.

Und es hat auch noch diverse andere gute Effekte.

Naja, ich meine, die Leute

haben beim Internet auch geschrieben, wofür braucht man das?

Das ist ja schwierig und schrecklich.

Es gibt ja auch diese ganze

sozusagen religiöse

Aspekt irgendwie, dass wir da irgendwie den

Gott schaffen, der uns danach irgendwie in die Hölle verbannt,

wenn wir ihn jetzt nicht irgendwie auf die

wenn wir ihn jetzt nicht auf

erbauen sozusagen. Es gibt diese ganze

und so weiter.

kann ich nicht, das auch

tun wird. Ich bin mir ziemlich sicher.

Ja, ich glaube, das kann man erst im Nachhinein sagen,

aber ich weiß nicht genau.

Ich bin mir sicher, es wird

einiges

tun, aber

tatsächlich gerade für

Programmierer wird es

einiges verändern.

Mir ist jetzt schon klar, ich würde

im Vergleich zu 80% der Leuten,

mit denen ich früher gearbeitet habe,

würde ich echt gerne lieber mit

GPT arbeiten,

kriege ich mir auch die Reihen zum Beispiel.

Aber

am Anfang

hatte ich eher Angst,

wenn wir alle Programmierer damit ersetzen

und so, da bin ich mir jetzt gar nicht so sicher,

weil tatsächlich große Konzerne einfach ein bisschen

lahm sind und vorsichtig und

wenn sie jetzt irgendwie schon effizienter

programmieren wollten, dann

könnten sie das jetzt schon einigermaßen gut machen.

Aber auf persönlicher Ebene

oder gerade für kleinere Open Source

Projekte ist das glaube ich echt ziemlich

beeindruckend, weil ich merke

das von meinen Projekten

jetzt sind einfach ein paar Sachen möglich,

wir vorher nie in den Sinn gekommen wären, das jetzt irgendwie zu machen.

Also so

zum Beispiel, was richtig gut geht

mit ChatGPT ist,

du kannst auf eine Webseite gehen und im Chrome

Developer Tools einfach

die Requests aufnehmen,

diese

HTTP-Requests und dann pastest

es einfach in JTPT rein und sagst

mal, mach mir mal bitte eine schöne API und

Proxy, damit ich jetzt hier auf diese

reverse-engineerte

Seite irgendwie einfach mal meine eigenen

Tools bauen kann und das tut's

innerhalb von Sekunden.

Also ich hab jetzt irgendwie APIs

für jede Webseite gebaut, die ich

irgendwie nur kenne, weil es

sind tatsächlich irgendwie drei Minuten, dann hab ich

ein richtig cool aussehendes

Go-API

und dann kann ich dann jetzt einfach

überall drauf.

Und dieser Effekt, glaube ich,

der macht es echt möglich, dass wir zum Beispiel

in der Open-Source-Szene oder so

komplette Dienste wie Gmail

oder sowas tatsächlich traktierbar

machen, dass es irgendwie drei Leute

machen können und diesen

ganzen zeitaufwendigen

Arbeit,

das jetzt irgendwie Export- und Import-Tools

und so weiter zu bauen, dass die

dadurch, dass die jetzt einfach wegfallen,

man sich ein bisschen mehr

auf gute Produkte

konzentrieren kann zum Beispiel.

Ja,

also wenn ich jetzt

am Samstag am Rechner hocke, dann habe ich echt keinen Bock

mehr irgendwie

AWS-Dokumentation

reinzuziehen.

Nach vier Stunden kriege ich es dann immer noch nicht zum

Laufen, dann ist halt der Samstag am Arsch

und dann mache ich nächsten Samstag dann doch vielleicht

was anderes. Aber

jetzt ist mir klar, dass ich innerhalb von

30 Minuten bis zu einer Stunde

einen tatsächlichen Dienst auf die Reihe kriege und das macht es dann deutlich anders.

Ich dachte, das ist immer Change Request fünfstellig.

Das ist ja klar.

Ja, aber genau.

Also ich meine, wenn man ein Ziel hat und dann kann man jetzt mehr bewegen,

das ist, denke ich, auch auf jeden Fall eine Konsequenz dieser Geschichte.

Und eben für größere Organisationen, die Organisationen sind sowieso eher limitiert

eben durch die interne Kommunikation

und weiß ich nicht, Prozesse und

seltsame Dinge, die man halt so tut.

Ja, für die wird es jetzt ein bisschen schwieriger.

Wenn du jetzt

so im Dreierteam, wo du dich

halt alle gerne kennst und einfach immer die

Pull-Requests immer abnicken kannst, weil du weißt,

naja, da hat er es schon richtig gemacht, dann

kannst du halt echt irgendwie

tatsächlich irgendwie 5000 Zahlen

pro Tag merchen und sagen, ja, es

wird schon passen. Und in der

Firma ist dann irgendwie, was ist denn das?

Und dann dauert es wieder drei Wochen.

und es ist auch egal,

ob du jetzt eine Stunde gebraucht hast

oder zehn Minuten, weil

im Endeffekt geht es halt um diese drei Wochen.

Ja, aber das ist halt was,

dieser Produktivitätsgewinn,

den kriegst du aber auch nur hin mit Leuten, die so ein bisschen

wissen, was sie tun und das

ist halt, ja,

schwierig zu kommunizieren irgendwie, das ist doch

wieder so Informationsasymmetrie,

die im Moment auf unserer

Seite noch ist.

Ja, ich sehe das

also auch wenn du

was ich jetzt ziemlich beeindruckend

finde, ich kenne jetzt irgendwie so drei, vier Leute

die vorher nie programmiert haben

und halt auch nie was mit so Node-Code-Tools

gemacht haben oder was auch immer und die haben

jetzt einfach mal angefangen tatsächlich irgendwie

ein paar Apps auf die Reihe gekriegt

irgendwie so Google-Sheets-Anbindungen

und irgendwie eine React-App

und so und die sind jetzt halt vom Fieber

gefasst, weil sie wissen

also ich meine, ich habe ja im Endeffekt auch

damit angefangen, dass ich jetzt aus der

Zeitschrift irgendwie Basic abgetippt

habe und keinen Schimmer hatte, was

irgendwie soll. Und

irgendwann lief es dann und

diesen Effekt sehe ich jetzt gerade auch, dass

das so die erste

No-Code-Lösung ist, wo Leute

tatsächlich richtige Programme schreiben.

Ja, also ich fand auch,

dass das, dass die,

dass der Vergleich eigentlich gut war.

Ich meine, viele Leute machen da Dinge mit Excel

und für viele Leute ist halt

Excel dieser Einstieg und jetzt hast du halt nochmal

einen anderen Einstieg, der vielleicht eine ähnliche...

Und das ist auch gerade der Anfang, weil im Moment

tun diese Leute sozusagen

Programmiersprachen programmieren, die halt

nicht für LLM gedacht

waren.

Das passt eigentlich

relativ...

Irgendwann gehe ich dann mal

auf meine ausufernde Erklärung, wie

diese Dinge funktionieren.

Das ist so ein bisschen gemein.

Wenn vorher jemand war wie Jochen

oder sowas, der gesagt hat, geht auch ein Hübscher

oder sowas. Das war früher noch so ein

USP, weil es gab nicht viele Leute, die dir so schöne

Codequalität liefern konnten. Und jetzt sagst

du einfach, oh, mach diesen Code doch mal

bitte hübsch. Und es kommt wirklich

eine beautified Version raus, wo ich sagen muss, hey, wow,

das kann man sich wirklich angucken. Und ich habe

manchmal so ein bisschen dirty Code,

der irgendwie geht, wo du denkst, ah,

erst mal hingerotzt und dann hast du früher

für Refactoring ein bisschen länger gebraucht und jetzt schmeißt

das einfach in diese Maschine und bekommst direkt

eine ordentliche Version mit ordentlichen Namen und

Formatierung.

Für Code, also dieses

Codeschreiben. Es gibt immer diese Einstellung,

okay, diese Maschine ist jetzt einfach da,

ich sag ihr einfach irgendwie, was ich will und dann

schreibt sie Code dazu und das

funktioniert eigentlich nicht so wahnsinnig gut.

Also wenn ich jetzt irgendwie

dem Programm sage, bau mir mal eine Webseite,

dann baut es halt eine Webseite, aber

irgendwie so genial ist die nicht

und meistens komplizierterer Code

geht einfach gar nicht. Aber wenn du

jetzt zum Codetransformieren

irgendwie das Ding benutzt, dann tut es

meistens irgendwie das relativ das Richtige machen,

und paste es irgendwie dein

ROTS-Code da rein und sagst so, ey, kannst du mal

einfach mal eine Fluent-API dazu bauen

und dann machtest du es halt und dann sagst du,

kannst du mal bitte ein Singleton da

reintun und dann vielleicht irgendwie

ein separates Package und dann

bist du halt nach 20 Minuten

oder nicht mal 20 Minuten,

nach 10 Minuten irgendwie

fertig damit und

dieser großartige

Effekt, den ich bei mir merke, du bist halt nicht müde

danach, du hast jetzt nicht irgendwie

detailliertes

Code und diese Variable

dahin und das irgendwie umbenennen

und hier irgendwie Syntaxfehler. Das ist halt

alles weg und im Endeffekt

fühlt sich das so an, als hättest du mit

deinen Kollegen einfach mal ein bisschen gelabert.

Aber trotzdem

sind dann halt irgendwie 500 Zeilen Code

irgendwie sauber geworden und

sagst, cool, jetzt gehe ich einfach mal

einen Kaffee trinken.

Ja, finde ich auch. Also genau das ist so dieses, man hat

so ein bisschen mehr Luft. Das ist echt angenehm.

Ja, es hebt das halt alles nochmal auf eine etwas

höhere Abstraktionsebene. Ich meine,

klar, auch wahrscheinlich ist halt irgendwie ein bisschen

Python-Code schreiben und da mal irgendwie

vor irgendwie Item in irgendwas anderem

Iterator irgendwie hinschreiben natürlich deutlich angenehmer, als wenn man

jetzt Assembler irgendwie schreiben müsste, weil so da wäre man dann halt

lange besch und auch ganz sch ersch wahrscheinlich Ja und jetzt geht es halt nochmal ein gutes St weiter in die Abstraktion Das ist halt ja

Was halt

auch irgendwie, also ich nenne das irgendwie

so

Programmieren mit

Mundgeschwindigkeit sozusagen. Du kannst halt irgendwie labern

und dann kannst du tatsächlich in deinem Chat

einfach mal 5000

Zahlen Code erzeugen lassen

und dann schließt du den Tab und dann sind die einfach weg.

Und das würdest du halt eigentlich in deinem Editor nie

machen, jetzt irgendwie 5000 Zeilen hervorzaubern

und sagen, naja, das sieht alles

nicht so genial aus, das gefällt mir

jetzt irgendwie gerade nicht.

Und das jetzt machen

zu können, und ich tue

da tatsächlich auch ziemlich viel mit experimentieren,

so wie wild kannst du damit jetzt

umgehen, ich lasse mir jetzt irgendwie

Betriebssystem-Scheduler irgendwie ein Bash

schreiben und dann sage ich irgendwie,

schreib mal das Bash, als hätte es irgendwie Tolkien

geschrieben und dann gucke ich einfach mal,

was da rauskommt.

Und da kommt tatsächlich

einiges Spannendes mit raus, weil erstens

tut man dadurch irgendwie dann schon

sehen, wie so ein Scheduler funktionieren

kann oder könnte, auch wenn der Code jetzt

irgendwie einfach mal Unsinn ist, aber

das

würde ich sonst ja halt nie machen.

Jetzt irgendwie eine Bash-Datei aufmachen und dann versuchen

irgendwie ein Scheduler zu schreiben,

erstens ist das irgendwie

anstrengend und dann bringt es

eh nichts und

so will ich mein Fun-Stack

auch nicht verbringen, aber das jetzt einfach mal

fünf Minuten auf dem Klo zu machen, ist dann irgendwie

schon irgendwie, also man

lernt irgendwie enorm viel dazu,

indem man einfach

so wilde,

semantische Wörter

durcheinander würfelt.

Das ist halt kürzer, ne?

Das ist halt auch nochmal so ein Riesenvorteil, finde ich, ja.

Also wenn man jetzt irgendwie so ein

Problem aus TechOverflow suchen musste,

sich seine Antwort überlegen musste, ist die gut genug?

Die kriegt man jetzt von ChessTV quasi auch direkt

ausgespuckt, wenn man die richtige Frage stellt, ohne dass man

jetzt diese Klicks hat und dann kann man

auch noch auf Regenerate klicken und kann sich das Problem

von verschiedenen Seiten angucken. Das Regenerate

ist richtig wichtig, das kennen irgendwie viele

Leute nicht, aber zu sehen, wie stabil

jetzt zum Beispiel ein Prompt ist, also wenn

du jetzt zum Beispiel so eine Art gefunden hast,

eine Frage zu formulieren und offen,

manchmal ist es halt einfach Zufall, dass du jetzt

eine geniale Antwort rauskriegst und dann sagst du

oh krass, was hat das Ding gemacht und dann

drückst du fünfmal auf Regenerate und das ist

jedes andere Mal irgendwie einfach totaler Unsinn

und dann

und dann, also das merke ich oft bei Leuten, die sagen,

ey, ich habe das Ding mal gefragt, wie es so und so was macht,

und das hat irgendwie alles rausgefunden.

Das versteht irgendwie echt, wie man jetzt zum Beispiel kocht.

Aber eigentlich versteht das Ding ja einfach gar nichts.

Das hat einfach irgendwie diese,

das mache ich später noch, diese ganze Erklärung,

wie die Dinger funktionieren.

Was mich professionell immer geärgert hat,

ist, dass Leute nie genug Code schreiben,

um ihn wegzuwerfen. Also einfach mal

Sachen auszuprobieren im Side-Branch und sagen

ey, ich hab da jetzt zwar richtig viel Arbeit

reingesteckt, aber

das lohnt sich dann doch nicht.

Und dadurch

endest du dann oft irgendwie mit so

halbgaren Code auf dem Main-Branch,

der halt eigentlich

nicht wirklich geschrieben hätten

sein sollen, sondern vielleicht hat man sich

das dann doch mal überlegt

und es wird oft nicht gemacht, weil

einfach Zeitdruck da ist.

Ja, das ist ein Management-Problem.

Jetzt muss es irgendwie shippen, egal ob es jetzt irgendwie

super ist oder nicht.

Ja, noch mehr Tage kosten mehr Geld und dies, das.

Und dieser Umgang

mit Legacy oder halt mit Code-Qualität

das braucht.

Also ich denke mal, wir haben das

Agile oder

halt das Unit-Testen, das mit

solchen

Technologien möglich ist, noch nicht

gefunden.

Also ich

vergleiche das immer irgendwie

mit diesen älteren Programmieren

zusammenhängen und die

meinen dann alle, ah, aber was ist jetzt alles mit den

Junior-Developers und die haben ja jetzt überhaupt

keine Möglichkeit mehr, richtigen Code zu lernen

und was wir können, ist halt

irgendwie das Wichtige bestimmen und ich sag so, ey,

du hast, das Problem

ist eher irgendwie, was mit dir passiert,

weil den

Kids ist halt echt egal,

ob die jetzt guten Code schreiben oder nicht, die

schreiben einfach Code und

so, also ich weiß,

als, ich weiß nicht, warst du auch in Karlsruhe an der Uni oder an der Fachhochschule?

Ja, genau, an der TU.

Als ich 1999 da angefangen habe,

da hatte ich halt irgendwie groß als Professor und wer auch immer

die ganzen alten Knacker und die meinten dann auch, was wichtig ist, ist halt

irgendwie auch Papier zu programmieren, weil wir früher immer mit Badge-Jobs und

irgendwie Lochkarten programmiert haben und das ist eigentlich eine richtig

guter Art zu programmieren, weil man dann

sehr genau über sein Programm

nachdenken kann und nicht halt irgendwie mit

VI und GCC und Linux und so was.

Das soll ich ja nicht.

Einen Tag warten, um ein Programm

auszuprobieren, das ist mir jetzt auch egal.

Aber genau

die Möglichkeit jetzt irgendwie

sowas in so einem stringenten

Loop ausführen zu können, hat halt eben

zu Unit Testing und so weiter geführt.

Das ist irgendwie, also klar ist es gut

einen Tag lang über sein Programm nachzudenken,

aber es ist auch ganz cool, innerhalb von

Millisekunden das einfach mal laufen

zu lassen, zu gucken, ob es funktioniert oder nicht.

Ich würde das auch an den großen

Stärken, wenn man jetzt so eine interpretierte

Sprache schreibt wie Python

auch im Notebook

gegenüber jetzt sowas wie C++,

wenn man halt irgendwie so ein Compile-Cycle von

ein paar Minuten dazwischen hat, das macht einen halt

einfach total langsam. Also allein diese paar Minuten

machen es halt schon fies.

Ja, auf jeden Fall.

und was ich sehe, was jetzt zum Beispiel

Zyklos

Ja, ich glaube,

da gibt es auch alles.

Ja, ja.

Klar.

Wo ich sehe, wo es sich hin entwickelt,

weil ich baue diese Sachen für meinen Chef jetzt,

also er kann irgendwie

Webdesign ein bisschen, aber HTML kann er nicht.

Er tut dann immer ein Figma-Kram klicken

und so ein bisschen SQL kann er auch, aber

so wirklich nicht.

und wenn du jetzt zum Beispiel

so eine Zwischensprache entwickelst,

die sich relativ

leicht zu richtigem HTML umwandeln lassen kann.

Also jetzt ChatGPT

zu fragen, HTML

bauen zu lassen, das mit unserem CSS

funktioniert, das ist einfach Unsinn, weil das kriegt

es nicht hin. Aber jetzt einfach

so eine Zwischensprache, wo ich sage,

wenn du jetzt irgendwie ein Order-Feld haben willst

und irgendwie ein Button hier und ein Button da, dann kommt

halt unser React raus.

Den kann ich dann einfach,

der kann dann einfach mal irgendwie

drei Stunden lang mit ChatGPT

UIs ausprobieren, bis er halt die raus hat,

die er eigentlich will.

Das wäre jetzt sozusagen

diese Arbeit als Programmierer,

jetzt rauszufinden, welche UI will er jetzt

wirklich und ich kann jetzt auch nicht mit ihm

am Rechner hocken und da irgendwie HTML

rauszaubern und sagen, wisst ihr das?

Das fällt jetzt alles

weg und diese, als Senior

Developer kann ich mit dem Kunden reden,

um zu verstehen, was er will.

Das wird sich, glaube ich, ganz gewaltig

ändern, weil im Endeffekt

der Kunde weiß halt, was er will

und wenn er das Chat-GPT sagen kann und

es dann ausprobieren, dann ist halt Senior-Developer

halt auch aus.

Ja, es ist spannend.

Es ist unklar, wo sich das hinbewegt und was dann die

neuen Rollen sein werden, aber ja, es kommen Dinge

in Bewegung. Das ist auf jeden Fall

so.

Es ist das Gleiche wie Blender-GPT

jetzt. Du kannst halt irgendwie kein Blender

wirklich, aber jetzt kannst du einfach mal ausprobieren,

Feeds zu machen und

das wird wahrscheinlich...

Jetzt muss der Johannes mal erklären, dass er Blender-GPT picken wollte.

Hab schon...

Achso, das ist jetzt schon...

Johannes, du darfst kurz

erklären, was Blender-GPT macht.

Also ich möchte das unbedingt ausprobieren.

Ja, das ist großartig, das musst du unbedingt ausprobieren.

Blender-GPT ist quasi

eine Integration von Chat-GPT.

Da gibt es ja eine API dafür, das heißt,

das kann man sich auch relativ einfach

in Programme reinholen, sage ich mal.

Simon Willison hat da viel Vorarbeit geleistet.

Es ist mit zwei Zeilen Python, kommt mal da so weit.

Und jemand hat das halt gemacht und in Blender integriert

und dem auch schon entsprechend genügend Blender beigebracht

oder diesen Prompt beziehungsweise so vorbereitet,

dass du einfach quasi eintippen kannst, was du in deiner Szene haben möchtest.

Und dieses Blender GPT Plugin, das schreibt dann den Code.

also Blender hat ja eine Python-API

das heißt

ChatGPT bedient quasi

Blender für dich, um die Sachen

zu machen, die du eben per natürliche

Sprache sagst. Das ist voll super, also mein allererster

bezahlter Kunde war tatsächlich eine Automatisierung

für eine Produktion, die in

Blender Modelle generiert hat

und das musste ich halt auch dann mit Python

irgendwie skalieren in Größe oder sowas, ging um

Schuhe

aber total spannend, ich wollte immer mal richtig

Blender lernen, ich konnte halt nur das mit der Python-API

machen und das musste ich

gar nicht mehr. Genau, das muss ich jetzt gar nicht mehr.

Darauf wartet man halt immer.

Und ich kann jetzt einfach Blender sagen, hey, ich hätte gerne

meinen Hintergrund mit der Sonne,

aufgehende Sonne über Wasser oder sowas.

Das will ich unbedingt machen.

Probier das mal aus. Also dieses

Demonstrationsvideo sieht sehr beeindruckend aus.

Ich schicke dir mein Content dazu, also das Video.

Ja, verlinkst du einfach, oder?

In den Show Notes. Ja, du verlinkst erstmal in den Show Notes

das Blender GPT-Internet.

Ja.

Ja, wir waren aber noch bei den News.

Aber es gibt ja noch mehr News, oder?

Ja, genau.

und die

der letzte Technical Report

zu GPT-4 ist halt auch so

sondern auch die Kommentare waren

relativ verächtlich dazu, wo die Leute sagten

das ist doch kein Paper

das ist auch kein technischer Reporter

das ist irgendwie eine Marketingbroschüre, da ist überhaupt nichts mehr

drin, was man irgendwie, und dann auch

die Resultate sind halt auch

das ist nicht peer-reviewed

also wenn da Leute immer claimen

dass es dies oder jenes könnte

ja, also das hat niemand unabhängig überprüft

ob das wirklich so ist, weil auch keiner das Modell

in die Hand bekommen hat

und das ist alles

auf Hand ausgewählten Geschichten gewesen

und das ist alles, das muss man alles mit sehr viel Salz

und Vorsicht genießen,

ansonsten wird man da in die Irre

geführt. Ja, wir würden es doch auch alle

essen. Ja, ja, aber also man muss

da schon... Was man bei

GPT-4 auf jeden Fall merkt, zumindest

vom Programmieren her,

es programmiert halt einfach echt ganz schön gut.

Ja, das schon.

Also es ist schon was dran.

Es ist nicht nur Marketing-Fluff, aber es ist...

Aber eigentlich wollten wir doch jetzt auf den wunderbaren Team hin.

Genau, also man kommt da nicht wirklich dran, man kann es nicht wirklich modifizieren, das Modell,

wenn man jetzt das feintunen möchte auf irgendein anderes Problem, was man da hat oder so.

Das geht nicht.

Das ging nicht, wollte ich sagen.

Ja, genau.

Und da kommt dann da mal ins Spiel, also die haben halt alle Google, Facebook.

Bei Apple weiß man es nicht so genau.

Die sind noch ein bisschen opener als OpenAI sozusagen, was diese Dinge angeht.

Die sind die Openst.

und dann kauft das Corporate Design ein.

Ja, also da weiß man,

wahrscheinlich haben die auch irgendwas in der Richtung.

Und genau,

das Large Language

Model von Facebook

heißt halt, oder von Meta ist Lama

und da hat irgendjemand irgendwie

den, also wie werden die Gewichte verteilt,

das ist halt eine Menge Daten, das geht immer mit Torrent

und irgendjemand hat in einem Pull-Request auf GitHub

irgendwie den Torrent-Link

halt mit reingeschrieben.

Ich glaube,

der Pull-Request ist immer noch offen.

und der ist immer noch da.

Aber die waren ja von Anfang an

wesentlich offener mit ihrem Modell.

Das war ja von Anfang an so für

Wissenschaftler jetzt in Anführungszeichen

gesagt, das heißt, du konntest

eine E-Mail hinschreiben und sagen, ich bin Wissenschaftler

und ich forsche an diesen und jenen Dingen und

dann hast du die Gewichte sofort gekriegt.

Also es war von Anfang an das Modell.

Von Open Air auch dran, aber

die praktischen Hürden sind halt so hoch, dass

die meisten halt nicht rankommen.

Ja, aber

Also, die praktischen Hürden sind in Milliardenhöhe, meinst du?

Ich weiß es nicht genau. Ich habe es nicht versucht. Also, keine Ahnung.

Ja, und jetzt bei Facebook ist es relativ simpel.

Man klickt halt auf diesen Magnetlink und dann läuft da irgendwie der Betonclient los.

Und dann irgendwie, also bei mir hat es irgendwie, weißt du, das ging überraschend schnell.

Das hat irgendwie so eine Stunde oder so gedauert oder sowas.

Und natürlich die 250 Gigabyte unten.

Genau, sind der 200 oder 270 Gigabyte oder so.

Irgendwie sowas, ja.

Bei mir war dann auf dem Laptop die Festplatte voll und dann hat er erstmal gesagt, äh.

Ja, ist schon ein bisschen größer.

Es gibt ja auch ein Ding, damit kann man dann die...

Und was ist dann...

Also man muss ja noch ein bisschen mehr dazu erzählen, oder?

Also das sind ja vier verschiedene Modelle.

Eins mit sieben Milliarden, eins mit 13, eins mit 30 und eins mit 65 Milliarden Parametern.

Und entsprechend schwierig sind die auch auszuführen, weil das eine braucht halt vier Gigabyte RAM

und das nächste 8 und das nächste

24

und das größte, weiß nicht,

40.

Und weil die halt

in Grafikkarten passen müssen,

ist es schwierig, weil Grafikkarten

mit 40 GB RAM sind relativ

teuer. Gibt es aber relativ teuer.

Es gibt die A100 oder sowas, die hat 40 GB.

Und die kann man sich, haben wir gesehen, über eine API

zum Beispiel mieten über eine Python-API.

Das ist aber auch natürlich wieder ein proprietäres System.

Man kann die auch kaufen.

oder man kann die kaufen.

Die kosten ungefähr 10.000 Dollar das Stück, also es ist nicht ganz

günstig.

Also Corporate Grade, aber ich sag mal so.

Ich hab's mir aber auch mal

durchgerechnet, wenn du es jetzt nur

zur Inferenz brauchst, dann macht es eigentlich überhaupt keinen Sinn

sowas selber zu kaufen.

Ganz kurz erklären, was bittet Inferenz?

Achso, das ist jetzt

einfach das Modell

benutzen.

Man gibt Leute rein und es kommt Leute raus.

Und zum

trainieren, also gerade

Fine-Tuning, was jetzt irgendwie nur ein paar

gewisse Gewichte des Netzwerks

irgendwie zu trainieren, das sind ja

mehrere Schichten.

Dazu braucht man

je nachdem, wie lange man trainieren will,

dann doch ein bisschen mehr, aber auch selbst

dort hatte ich mir mal durchgerechnet, wenn ich mir jetzt

irgendwie zwei NVIDIAS kaufe und jetzt

irgendwie so ein 7 Billionen,

7 Milliarden,

ich sage ja Milliarden auf Deutsch,

7 Milliarden

Modell irgendwie durchtrainieren will,

und dann macht es immer noch mehr Sinn, sich das eigentlich einfach

in der Cloud zu mieten.

Also jetzt

für diese, wenn ich jetzt

so eine Inferenz mache, also tatsächlich irgendwie

mit dem Modell

chatten will oder sowas, dann brauche ich ja

eigentlich immer nur ein paar Sekunden

Inferenz und dann muss ich mir das durchlesen,

eine Antwort und so, dann macht es

eigentlich mehr Sinn, jemanden anders

zu bezahlen, dass er doch bitte die ganzen

Rechenkarten

irgendwie bei sich im RZ steht.

Hast du denn einen Lieblingsanbieter,

wenn wir jetzt mal hier Werbung machen wollen.

Weil ich suche tatsächlich...

Ich habe da recht wenig gemacht.

Bei Hugging Face lasse ich immer irgendwie

meine Sachen laufen, aber gibt es ja

eigentlich wie Sand an Meer

Anbieter, wo du dir eine GPU

mieten kannst zum Beispiel.

Und ich vermute, es wird auch

dorthin gehen, dass man als Open Source

Entwickler sowas mit diesen Modellen einfach mal

bei einer kleinen Firma sich die anmietet

oder einfach mit einer kleinen Gruppe

sich irgendwo im RZ in die Kiste

hinstellt.

2.000.

Wenn jemand was findet, das gut funktioniert.

Aber das passt da eigentlich ganz gut aus. Sie haben teilweise Python-Module

oder halt einfach...

Ich mache mal für Hugging Face ein bisschen Werbung.

Das ist jetzt so eine Seite, die

tatsächlich irgendwie für Open

Modelle irgendwie sozusagen

zur Verfügung steht.

Die tun dir auch Compute

zur Verfügung stellen,

aber es gibt auch einfach eine Webseite

und eine Reihe an Python-Libraries und es gibt

Bücher mit Python.

Also ich habe das hier, was ich echt

empfehlen kann. Das heißt Natural Language

Processing with Transformers, mit den ganzen Hugging Face Libraries.

Die machen es enorm einfach.

Da war nämlich auch das Team von denen da,

da waren ein paar Leute, die haben da coole Sachen auch gemacht auf der letzten

Europe Python. Die haben coole Videos,

man kann sich da einfach auch irgendwie Checkpoints und verschiedene andere

Gewichte einfach austauschen und bei anderen Leuten

so kleine Apps irgendwie bauen, die man austauschen kann. Das ist alles

echt ziemlich beeindruckend. Da gibt es halt so ein paar coole Usability

Tools auch dafür. Also man kann jetzt Gravy benutzen,

um sich das einfach so ganz schnell

so eine Web-App zusammen zu

klicken, wollte ich fast sagen, aber zu coden,

indem man halt ein paar Teilen dann irgendwie

so ein Web-Interface hat, mit dem man das benutzen kann,

wenn man jetzt irgendwie eine Klassifizierung

Die können sich dann Leute forken und dann auf

ihren eigenen Kosten

sozusagen benutzen, damit man

jetzt nicht irgendwie

Ja, genau, also jedenfalls

wir haben jetzt diese Lama-Gewichtlinie,

das haben wir jetzt da und das heißt, wir haben im Grunde so ein Modell

so ähnlich wie GPT, ich weiß jetzt genau,

wie der

Orn-Detail-Vergleich aussehen würde, aber

das haben wir jetzt da und wir können da mitspielen, wir können

die Dinger feintunen für andere Sachen und so

und das ist natürlich großartig.

Da hat sich dann auch

sofort eine riesige Szene an

Leuten, das hat irgendwie nicht lange

gedauert, bis dann irgendjemand

das in C++ irgendwie

quasi so implementiert hat, dass man

CPUs laufen lassen kann.

Alpaka ist Lama7b.

Alpaka.cpp

und das geht dann auch auf erstaunlich kleinen Maschinen.

Also dieses 7B-Modell, also das 7 Milliarden Parameter-Modell,

kann man relativ leicht ausrechnen, wie viel Hauptspeicher das verbraucht.

Das 30 Milliarden parallel geht auf meinem Laptop.

Genau, also man kann die wohl so gut runterquantisieren,

dass man sie auf 4-Bit-Breite quantisiert hat

und die gehen immer noch, erstaunlicherweise gehen die immer noch gut genug.

Dieses 7B-Modell kann man auf dem Raspberry Pi ausführen

und die verbrauchen jetzt halt auf einmal nur noch halb so viel Hauptspeicher,

wenn man sie halt auf 4-Bit runter quantisiert.

Und so Rechner mit 32 GB Hauptspeicher sind ja heutzutage nichts Außergewöhnliches mehr

und da passen dann schon die großen Modelle rein.

Also es ist ganz erstaunlich.

wie schnell das

getan hat.

Die letzten Neuigkeiten, die ich dazu gehört

habe, ist, dass es da einen Pull-Request gab,

wo sie das Speichermodell umgestellt

haben und

die große Änderung

ist wohl, dass sie die Dateien jetzt Memory-Mappen

und nicht mehr komplett laden.

Das heißt, es werden nur noch die Teile von

dem Modell geladen, die auch

aktiviert werden durch einen Prompt und das

halbiert wohl nochmal den Speicherverbrauch.

Das darf ich aber nicht

so ganz viel, dass nur die Hälfte des Modells irgendwie aktiviert war.

Eigentlich geht ja alles durch alles.

Es gab ein bisschen Diskussion, ich weiß es nicht.

Genau, aber das Modell nicht ganz verwendet wird und deshalb bei jeder Aktivierung oder

bei jedem Lauf nur die Hälfte.

Also auf jeden Fall ist es ganz beeindruckend, wie schnell das ging, dass es auch auf kleinen

auf kleinen Maschinen ging, auf Handys, auf Raspberry Pis, auf normalen Laptops.

Wir sind ja Entwickler, wir haben ja normalerweise Entwickler-Laptops,

die nicht ganz losgebaut sind.

Das heißt, wir können ja durchaus dann auch schon die größeren Modelle anfassen,

die dann wirklich auch qualitativ erstaunlich gut sind,

obwohl jetzt die Parameterzahlen das gar nicht auf den ersten Blick erscheinen lassen.

Ich glaube für Programmiere und

Programmgenerierung sind die auf jeden Fall

vollkommen fähig

als Programmiersprache mit dem Sinne

relativ einfache menschliche Sprachen

sind zwar

Und auch generell wenn man die

wie der Jochen gesagt hat, da gibt es ja auch inzwischen

das Tooling dafür, dass man die dann feintunt

auf bestimmte Sachen und wenn man

so ein getuntes Modell hat, was halt Python

besonders gut beherrscht oder Go oder

Rust oder was auch immer

dann sind die Ergebnisse da ganz beeindruckend

gut und das ist

erstaunlich. Aber es ist auch so ein bisschen

schön, dass da sich die Open Source Community

so zusammengekommen, aus dem

unwahrscheinlichsten Ort

auf der Welt von Facebook

kam so ein Modell und

jetzt ist hier so die Open Source Welt

gezündet und auf einmal gibt es

eine Million verschiedene Varianten davon.

Die haben jetzt alle

so Lama-Namen, Lama und Alpaka

und Vicuña und was weiß ich

nicht noch alles.

und hier ist die Dame, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist der Lama, der ist

daran geglaubt haben, dass sie jetzt eigentlich

ein Open Lab sind,

bis die Milliarden Dollar

zu rechnen irgendwie für den vor den Augen getanzt

sind. Aber

tatsächlich ist, glaube ich, die Open Source

Szene schon viel, viel weiter

in dem, was jetzt zum Beispiel

AI Chains oder

LLM Chains,

gleich auch vielleicht mal erklären

kann, was jetzt alles

um Applikationen, um diese

Modelle drum herum zu bauen ist,

ist, glaube ich, einfach Open Source, einfach

die sind so einfach zu bauen, weil es ja im Endeffekt immer ein paar Sätze sind, die man schreibt,

dass die OpenAI einfach komplett überrennen in dem Sinne, wie clever jetzt diese Chatbots zum Beispiel drumherum sind und so.

Das merkt man bei ChatGPT zum Beispiel relativ gut.

Diese Modelle haben ja nur eine gewisse Anzahl an Wörtern, die sie berücksichtigen können.

Also so nach 2000, 3000 Wörtern meistens ist halt Schluss.

vielmehr können sie jetzt nicht

wissen, sozusagen in einem Rutsch.

Das heißt, bei so einer langen

Chat-Historie gibt es

halt immer Mechanismen, wo du sagst, naja,

die Frage ist halt, geht es jetzt gerade

darum, deswegen werde ich mal vielleicht von

vor drei Nachrichten irgendwie nochmal ein bisschen

was dazu streuen.

Das geht halt eine Zeit lang gut, aber das merkt man

bei Chat-GPT, wenn man so nach

12, 14 Nachrichten kommt,

dann wird es halt immer echt ein bisschen schräg.

Dann fängt der an, irgendwie so doofe

Fehler zu machen oder erinnert sich nicht an

bestimmte Sachen. Das merkt man, es fühlt sich

so qualitativ, als würde langsam jemand

irgendwie einfach einschlafen.

Es kommt dadurch,

dass halt dieser Kontext, der mitgeliefert wird,

einfach immer nach und nach degradiert

wird und dann tut er das irgendwie

so aufsummieren

und die Open-Source-Szene

hat da ziemlich

beeindruckende

Modelle entworfen, die du

tatsächlich irgendwie auf deinen

Bereich jetzt auch gerade irgendwie anpassen kannst.

Das heißt, wenn du jetzt irgendwie deine E-Mails irgendwie hast,

dann gibt es

ein Chatbot, das einfach, wenn du

eine Frage stellst, dann nimmt es diese Frage,

stellt das erstmal einfach mit

normalen Suchmaschinentechnologien gegen deine

E-Mail-Datenbank, sucht dich dann

irgendwie vielleicht vier E-Mails raus

und schickt die dann mit deiner Frage

an den Chatbot irgendwie weiter

und das kannst du halt anpassen, wenn du sagst,

ich hätte gerne irgendwie auch noch meine

Slack-Historie mit dazu oder einfach irgendwie die

Dateien, die ich auf der Festplatte hier habe

beim Chatbot kommunizieren mit dabei.

Da kann halt eine Firma wie OpenAI einfach nicht mithalten.

Und das macht halt einen deutlichen Unterschied

bei der Qualität, von dem es rauskommt.

Ja, also Retrieval hinzuzufügen ist so eine offensichtliche Geschichte,

was ja auch irgendwie ChatGPT auch nicht kann.

Das ist auch immer witzig, wenn dann Leute der Meinung sind,

da hat Simon Wilson auch schon viel drüber geschrieben,

irgendwie, dass wenn sie

da URLs reinpasten und sie dann

ChatGPT fragen, so irgendwie

sag mal, was denkst du denn zu diesem Artikel oder fassen wir

den mal zusammen, ja dann macht es das

einfach, ja, und oft reichen die

Wörter aus dem Slug,

also sozusagen aus der quasi

dem Teil des Urlfahrts, der halt

beschreiben soll, welcher

Artikel das jetzt ist, reichen halt aus,

um da irgendwie eine glaubwürdige

Antwort zu generieren, aber tatsächlich hat

ChatGPT überhaupt gar keinen Zugriff auf irgendwie

Internetgeschichten oder Webseiten oder so,

kann man sich leicht klar machen, wenn man einfach eine Fantasie-URL

generiert und ChatGPT die gleiche Frage

stellt, dann kippt man halt zurück. Oder einfach

auf Regenerate drücken.

Das ist so eins der Tricks irgendwie.

Bei Regenerate klickt man

so langsam mit, auf welche Keywords

es jetzt irgendwie

anspringt sozusagen.

Aber es gibt halt Leute da draußen,

die sagen, wenn man ihnen sagt,

das geht nicht, das kann das nicht, dann sagen die,

aber das mache ich doch jetzt schon seit Wochen, dass ich immer meine

Artikel so zusammenfassen lasse und dann da

ja, nein.

Es zeigt ja auch vielleicht, dass tatsächlich

der Inhalt des Artikels

tatsächlich in fünf Worten aufzusehen ist

und dass das eigentlich ausreicht.

Ja, das ist schon

faszinierend.

Ich glaube, was du gerade angesprochen hast,

ist glaube ich so ein ganz fundamentales

Ding, also

zu erklären, was diese Modelle

machen.

Und zwar ein LLM

an sich, also jetzt zum Beispiel

GPT-3 unterhalb von ChatGPT,

und Jochen unterhalten sich über die Programmiersprache Python

2 macht, oder?

Nee, das hat mit Python 2 noch nichts zu tun.

Das ist auch was

Markov-Ketten machen, das ist halt einfach

diese Formulierung,

was jetzt irgendwie ein Modell ist,

dass du anhand von einem Kontext

die Wahrscheinlichkeit von einem bestimmten Wort

Als zum Beispiel ein

super simples Modell,

das wäre halt, du zählst einfach

die Worte und

nimmst jetzt einfach die Frequenz von den Worten

und sagst, die Wahrscheinlichkeit ist halt einfach die Frequenz.

Sozusagen das nächste, für das

für das Wort. Das wäre das allersimpelste Modell, was man sich

vorstellen kann. Dann kannst du das verfeinern und sagst,

okay, das mache ich jetzt nicht für einzelne Worte, sondern für

N-Gramme, also für

Folgen von zwei, drei, vier Worten oder so.

Und das wurde lange so gemacht.

Das war, also ich meine,

Spam-Ketten, Spam-Erkennung

war ja lange irgendwie einfach

drei Gramm oder so.

Genau, und das hat auch schon super funktioniert. Das war lange

State-of-the-Art, also jahrzehntelang.

Und die Reihenfolge der Wörter und sowas hat

alles überhaupt keine Rolle gespielt. Aber

quasi, du hattest auch ein Modell dafür, welches

Wort mit welcher Wahrscheinlichkeit irgendwie

auftritt, ja.

Und

sozusagen die Neuerung jetzt ist halt

irgendwie, dass man diese

diese

einmal die Reihenfolge der Worte

halt tatsächlich eine Rolle spielt,

dass halt, ja, man

quasi

da einen Unterschied

sieht in Texten, wie jetzt die Anordnung der

Worte, das klingt trivial, aber

hat man sich lange die Zähne dran ausgerissen, das

macht jetzt einen großen Unterschied.

Und dass man halt

sozusagen ein Modell hat,

ja,

wie beschreibe ich das?

Es funktioniert halt einfach irgendwie wahnsinnig gut.

Also dass man anhand

dieser einfachen Formulierung,

das ist jetzt die Wahrscheinlichkeit,

von diesem Wort tatsächlich so

erstaunliche Ergebnisse irgendwie

erzeugen kann. Aber das Modell an sich

ist jetzt einfach, das wird sozusagen

trainiert,

also so ein Machine Learning

Thema, ich glaube es kommt auch gar nicht so

sehr auf, das Wichtige

ist gar nicht so sehr, was für eine Architektur das jetzt

genau ist, sondern tatsächlich

wie diese Modelle

trainiert werden, ist halt einfach, die kriegen eine

enorme Menge an Text und dann wird immer das

letzte Wort irgendwie versteckt

und dann sagen sie, und bei dem

Trainieren wird der Modell

halt, wird es

wird der Output von dem Modell

also die Wahrscheinlichkeit von dem nächsten Wort

mit dem verglichen, was jetzt tatsächlich im Text

drin steht und dann wird es, wenn es

falsch ist, dann wird ein bisschen was verändert

und wenn es richtig ist, wird es ein bisschen anders

verändert und das reicht aus.

Viel mehr gibt es da eigentlich nicht.

Ist das Gradient-Lerning oder was ist das?

Nee, das ist einfach

traditionelles

Gradient und das kann man also es gibt auf YouTube ein Video von Andrej Karpati zum Beispiel das kann man in Python innerhalb von einem Nachmittag einfach nachbauen

Es kommt zwar nicht Chat-GPT raus,

weil man dafür einfach viel, viel, viel, viel, viel, viel

rechnen muss, aber man kann tatsächlich aus einzelnen

Buchstaben so Shakespeare-ähnliches

Zeugs einfach innerhalb von 30 Minuten mit Python

irgendwie erzeugen.

YouTube-Channel und war

bei Tesla irgendwie für Data.

Ja, und vorher war er bei OpenAI und ist jetzt wieder bei OpenAI.

Ah, okay. Genau.

Ja, also

er macht das nicht.

Eine neue Hinten-Gran-Zugabe.

Keine Ahnung, ja.

Ja, und

das Faszinierende

im Ganzen ist, dass halt diese

einfache Formulierung und dieses relativ

einfache mathematische Modell, das jetzt

zu erzeugen, ausreicht, um jetzt richtig komplexe

linguistische Probleme zu lösen.

Weil die Sätze, die rauskommen, es kann halt Artikel richtig und es kann irgendwie

auf drei Sätze zurück erkennen, dass es um einen Hund ging und nicht

eine Katze. Was halt N-Gramme, die können halt nur drei Wörter zurückgucken und dann

klingt alles irgendwie einfach super schräg und super skurril.

Aber im Endeffekt,

was daraus kommt, was wichtig ist, sich daran zu erinnern, ist, wenn man jetzt zum Beispiel mit so einem GPT-Modell kommuniziert und dem jetzt irgendwie eine Frage stellt, was soll ich denn zu Spaghetti dazukochen, dann stellt man eigentlich nicht die Frage, was passt zu Spaghetti, sondern man stellt die Frage anhand der vielen Milliarden an Wörtern, die du gesehen hast,

Was ist eine wahrscheinliche

Antwort zu der Frage

Was soll ich zu Spaghetti kochen?

Und dieser kleine Unterschied

Du stellst dem Modell nicht die Frage

X, sondern du stellst dem Modell

die Frage anhand von

all diesem Text, den du gesehen hast

Was ist so eine wahrscheinliche Antwort

zu X?

Ich glaube, der Unterschied ist

Ja

Ich weiß nicht, ob das jetzt vielen Leuten so klar ist, dass das Ding einfach nur...

Ich finde die Erklärung ein kleines bisschen unbefriedigend.

Also ich verstehe das und das ist ein wichtiger Unterschied, dass man eben das trennt von...

Das ist kein Mind, das ist kein Gehirn, was dahinter ist, sondern das ist im Endeffekt ein stochastischer Prozess, der dahinter ist.

aber ich finde die Erklärung

trotzdem ein kleines bisschen unbefriedigend

weil auf einer gewissen Ebene ist es

bei uns ja auch ein stochastischer Prozess

der dahinter ist und wenn du mich fragst

was passt zu Spaghetti, dann sage ich dir nicht

die pure Wahrheit, die zu Spaghetti

passt, sondern ich krame da

in meinem Gedächtnis und habe ein Modell von

verschiedenen

Geschmacksdingen geformt

die mir zugesagt

haben in vergangenen Experimenten

und sage dir dann, was dieses Modell

Das ist ja ein deutlicher Unterschied

Das ist ja ein deutlicher Unterschied

Du sollst jetzt nicht einfach irgendwie sagen

weil du durchaus sagen kannst

naja, viele Leute magens

halt Tomatensauce, aber ich finde halt irgendwie einfach

Wodka-Sauce ganz geil

und es basiert ja nicht darauf, dass

dir viele Leute gesagt haben, dass Wodka-Sauce

cool ist, sondern es basiert ja darauf

dass dir Wodka-Sauce gefällt

Aber das bedeutet ja nur, dass

meine Trainingsdaten anders sind

Ich möchte ja gerne genau der KI sowas beibringen können

und zwar, dass sich halt deren

Geschmack impfen kann.

Ja, das kannst du tatsächlich.

Aber, also,

die schmeckt dann nix, aber du könntest

ihr so zum Beispiel deine Präferenzen

irgendwie relativ, also du kannst dir

natürlich einfach sagen, was du für Präferenzen hast.

Das würde vielleicht auch schon reichen.

Und du kannst dir natürlich etwas brutaler irgendwie

beibringen, wenn du das halt

per Feintuning in sie reindengelst.

Und wenn die KI halt darüber nachdenken kann,

was Geschmack ist und das halt so aussprechen kann,

das vielleicht dann unterscheiden kann,

Dann kommen wir...

Das ist ja ein deutlicher...

Das ist, glaube ich, gerade der Unterschied.

Wenn du mir jetzt sagst, ich finde

Vodka-Soße cool, dann habe ich ein Modell

von wie du halt

an dieses

Ergebnis gekommen bist. Und zwar, dass du wahrscheinlich schon mal

in deinem Leben Spaghetti gegessen hast

und dass du vielleicht mal öfters

Vodka-Soße gegessen hast oder sowas.

Vielleicht hast du mal einen Kochkurs genommen oder sowas.

Aber bei dem

Sprachmodell ist die

einzige Antwort, wieso es mir jetzt

in die Wodka-Soße gesagt hat, naja, das hat es halt irgendwie oft vorher gesehen, als ihr irgendwie diese ganzen Daten eingeguckt worden seid.

Genau das, was mir da so ein bisschen fehlt, ist halt genau an der Stelle eine Art von, ich nenne es mal Urteilsvermögen,

also tatsächlich zwischen Dingen entscheiden zu können, also zwischen gut und falsch.

Aber das gibt es nicht.

Doch.

Das gibt es nicht.

Das ist ja gerade das, was Manuel sagt, das ist das, was es nicht gibt.

Aber wenn du dem oft genug beibringst, was richtig und falsch ist, dann kommt es ja genau in die Mitte.

Das ist ja dann der nächste Teil,

was bei Python

von dem Sprachmodell dazukommt.

Genau, der Richtig-und-Falsch-Ansatz, also wie wir

überhaupt ja glauben, dass Richtig-und-Falsch existiert,

ist ja, glaube ich, auch nur, weil wir

Gelebtes bewerten,

keine Ahnung, ist es jetzt überlebensfähig

oder nicht überlebensfähig, und dann

halt das irgendwann zu einer Tradition

machen, also Kultur tradieren

und diese tradierte

Tradition irgendwann institutionalisieren.

Und das ist ja irgendwie auch was, was man

so einer KI durch, also deswegen finde ich dieses Testbeispiel, was wir eben schon mal

hatten, interessant. Wenn man einen KI-Test schreibt für die KI, die halt dann regelbasierte

Bewertungen machen, also richtig oder falsch, also ein Test hat eine Assertion oder nicht,

dann kann man ein dialektisches System schaffen, wo die KI sich selber

anlernt, dazu so eine Art von Dialektik zu entwickeln,

die Bewertungen auch ermöglicht. Ich bin mir da ziemlich sicher,

dass das irgendwie geht.

Ich gehe das auch irgendwie, wie viel das jetzt

irgendwie an Verständnis

dazukommt. Also es kann durchaus

sein, dass die Dinge immer besser werden.

Jetzt können sie irgendwie fünf Schritte rechnen und irgendwie

nicht nur vier. Aber das ist für

mich als Programmierer jetzt auch irgendwie, oder

beziehungsweise als Benutzer von diesen Teilen,

relativ uninteressant. Also was ich

tatsächlich jetzt zum Beispiel über diese Spaghetti-Frage

richtig interessant finde, ist halt,

ich kann die Frage stellen,

in diesen ganzen

Werken, die Menschen geschrieben haben,

also diese Wörter kommen ja nicht aus dem ETA,

sondern es geht tatsächlich um Menschenmeinungen,

aber die werden jetzt irgendwie so aufsummiert

und halt irgendwie ein bisschen komisch

durastisch verpackt, aber tatsächlich ist die Frage ja

was haben sich

Leute mal dazu gedacht, wenn

die über Spaghetti nachgedacht

haben und das ist glaube ich

für Programmieren zum Beispiel eine richtig

interessante Sache und zwar

ich frage jetzt nicht die KI mir jetzt

irgendwie ein Programm zu schreiben, sondern ich sage

von diesen ganzen geilen Programmen, die du

mal irgendwie im Internet gesehen hast oder

vielleicht nicht so geil, was

wäre jetzt eine mögliche

Vervollständigung von meinem

Programm. Und das ist

so der zwingende Unterschied. Ich

erwarte jetzt nicht, dass da ein richtiges Programm rauskommt,

sondern es kommt halt irgend so ein Mischmasch

aus ganz vielen vorigen

Programmen irgendwie zum Vorschein.

Ja, es enthält

auch nur alles, was es halt tatsächlich schon mal

irgendwo im Internet veröffentlicht worden ist und halt auch

nicht das, was nicht veröffentlicht worden ist.

Ja. Und das ist so ein bisschen

eine Challenge. Und die Frage

ist aber, ob es in der Lage ist, das zu

replizieren vielleicht sogar?

Schreibst du jemals irgendwie Programme, wo du sagst, ey, das ist jetzt so wahnbrechend, das hat jetzt halt irgendwie keiner vorher geschrieben, dass ich jetzt nach dem If-Keyword irgendwie jetzt einfach while hinschreibe?

Also ich würde sagen, beim Programmieren vielleicht noch nicht, bei Literatur vielleicht schon. Ja, also da gibt es halt Menschen, die schreiben halt Bücher, die gab es so noch nicht.

Ja, aber also da wäre ich mir nicht so

klar, also da wäre ich

mir nicht so klar, ob das tatsächlich irgendwie

so ein exklusives Ding ist

also da wäre ich sehr vorsichtig

Genau, ich würde auch sagen, dass das nicht exklusiv ist

ich würde sagen, das kann man reproduzieren und die Frage ist halt

wie gut kann dann tatsächlich die

ist halt, sag ich wieder AI oder das

LLM sein, um

Ich höre jetzt auch die ganze Zeit KI

Nein, ach Gott

Ja

und sowas zu recherchieren, also ein Künstler zu sein.

Also ich bin ja eh immer ein Praktiker gewesen,

also mich interessiert das auch nur, weil es eigentlich tatsächlich funktioniert,

als jetzt irgendwie so, weil es so groß spannend ist.

Und diese ganzen Eroierungen,

weil wie man mit diesem stochastischen, sprachbasierten Herangehensweise

irgendwie mit umgeht, ist das Faszinierende.

zum Beispiel, glaube ich, jetzt mit, also gerade wieder im Vergleich

im Bereich des Programmierens zum Beispiel, ist das so, also die Frage,

die du stellst, oft sind es ja Fragen,

die Fragen, die mich interessieren, sind Fragen, die schon 5000

Mal beantwortet worden sind. Ich will jetzt irgendwie diese anstrengende

Tabelle queryen, wie schreibe ich jetzt meine Query?

Aber woraus ankommt, ist jetzt nicht nur die Frage

an sich oder den Code, den ich da reinpaste,

ist wichtig, sondern

was ich da reinpaste, ist in dem

ist in einer Art wichtig, die als Programmierer

gar nicht unbedingt

normal vorkommen und zum Beispiel Variablen

Namen. Wenn wir jetzt irgendwie eine While-Schleife

hinschreiben, ist ja

eigentlich der Name der Variable in der

While-Schleife oder der Name der

Tabelle, sagen wir halt, naja, das könnte

auch ein anderer sein, aber die Schleife ist ja gleich.

Aber das

stimmt bei LLM-Programmieren ja nicht mehr.

Wenn ich jetzt die Variable irgendwie

InvoiceSum nenne,

dann tut es

nicht nur

sagen, eigentlich könnt ihr auch genauso

A heißen, sondern dadurch,

dass ich InvoiceSum geschrieben habe,

wird es in einem Bereich

von dem Text, den es vorher gesehen hat,

suchen, der nicht der gleiche ist.

Und zwar wird es automatisch

finanzorientierter nachsuchen.

Die Antworten werden besser, je präziser man

seine Sprache

beherrscht.

Ja, das ist auch dieses, also was zum Beispiel,

was ich faszinierend finde, wenn ich jetzt SQL schreibe,

dann schreibe ich immer erstmal dazu,

dass ich ein Business Analyst bin,

weil dadurch die Queries einfach besser werden.

Ich könnte ja auch irgendwie

hinschreiben, ich bin jetzt

irgendwie ein Erste-Student

und dann kommt irgendwie schlechterer

Code raus, aber das macht eigentlich Sinn,

weil es ja irgendwie im

Trainingskorpus diese

Dinge ja zusammenhängen.

Ich sage, für Vorstände und Kinder, wenn du

eingibst oder fragst, wie würdest du einem dreijährigen

Weihnachten erklären, kommen super einfache

Ergebnisse raus. Das funktioniert tatsächlich

in beide Richtungen.

In der hegischen Dialektik,

wie wird da Weihnachten definiert,

da kommt bestimmt was ganz anderes raus.

Aber was

ich gemerkt habe zum Beispiel, also Order,

weil ich ja viel Retail mache und

Accounting gerade, Order

als Bestellung

ist jetzt ein schräges Wort, weil Order

einfach echt viele Sachen bedeuten kann.

Gerade auch wieder in den Sequel

Bereich.

oder

und Jochen unterhalten sich über die Programmiersprache Python

weiterkommen, weil ich

jetzt zum Beispiel einfach immer, wenn ich jetzt meine

Orders-Tabelle irgendwie

durchforsten will, dann schreibe ich,

dann gebe ich denen immer Adiasse

in meiner Query, dann heißt das jetzt irgendwie

BalanceSheetOrderSum, anstatt

irgendwie Orders.

Und dadurch, dass ich BalanceSheet dazu

schreibe, dann ist ganz klar, ah, es geht jetzt

irgendwie um Jahresende-Rechnungen

und dann kommen halt, also wenn ich

jetzt zum Beispiel sage, mach mir mal irgendwie

eine

Cox, also Cost of Goods Sold,

wo es relativ komplizierte

Verfahren gibt, wie man das jetzt mit dem Inventar

zusammentut, kommen echt

beeindruckte Queries raus, weil er eigentlich

jetzt so ganz, ganz zielgenau

in Business Analyst,

die irgendwie auf Stack Overflow ihre

Inventory-Queries austauschen, halt sucht

oder wie auch immer das funktioniert, aber wenn ich

diese Wörter weglasse,

kommt da irgendwie großer Müll raus.

Was auch super interessant ist, ist die Sprache

zu wechseln, indem man Fragen stellt,

weil halt da auch wieder andere

und die Ergebnisse hinterstecken.

Und manchmal sind halt,

also bestimmte Sprachen,

ich finde auch Deutsch ist da sehr viel präziser

als beispielsweise Englisch.

Englisch ist gut für so Makro-Level-Sachen,

aber Deutsch halt für so Details.

Keine Ahnung,

die Volkswirtschaftslehre und Nationalökonomie,

da gibt es ganz viele verschiedene Begriffe.

Auf Englisch wird es nicht als Economics,

auf Economics und Economics und so weiter.

Und das ist halt nochmal wirklich ein guter Hebel

oder eine gute Schraube,

um da nochmal wirklich differenziertere Dinge

herauszukitzeln, glaube ich.

Ich glaube, er macht das in beide

Richtungen, das mit dem Übersetzen. Er nimmt Sachen aus deutschem

Übersetzen ins englische und andersrum

und da kann man echt, also ich finde,

das ist ein guter...

Das ist dieser andere Trick, und zwar diese Modelle,

die haben einen Mechanismus, das heißt Attention.

Und zwar im Vergleich

zu früheren Modellen, genau, Attention

ist eigentlich tatsächlich ein wichtiges Detail,

wie diese Dinge innerhalb funktionieren.

Und zwar, wenn man jetzt eine Query reinschreibt,

dann tut das tatsächlich

alle Wörter der Query auf einmal

berücksichtigen. Also er liest es nicht irgendwie

Wort für Wort, sondern es werden

jetzt alle Wörter auf einmal reingetan,

dann wird das alles irgendwie mathematisch

berechnet und dann kommt irgendwann mal

zu jedem Wort in dem

Vokabular auf einmal eine

Wahrscheinlichkeit mit raus.

Also zu allen Wörtern, zu allen 50.000

oder wie viel es auch immer das sind,

kommen jetzt 50.000

Wahrscheinlichkeiten raus und

es gibt dann einen Mechanismus, nachdem er

sich jetzt irgendwie zufällig das nächste

Wort auswählt. Und zwar man

kann das deterministisch machen. Es gibt meistens

so ein Temperaturparameter, heißt es.

Wenn man den ganz runter

stellt, dann nimmt er immer einfach das höchstwahrscheinliche

Token. Wird dann aber eher ein bisschen

langweilig.

Das wird ein bisschen langweilig, weil man zu Spaghetti

halt was anderes kochen kann als Tomatensauce

zum Beispiel. Und deswegen

tut man die Temperatur ein bisschen hochschrauben

und dann sucht er sich das aus den nächsten

zehn Token und so. Da gibt es

im Web halt irgendwie Erklärungen,

wie das Ganze funktioniert.

aber was dieses Attentioner macht, nachdem jetzt das nächste Wort ausgesucht wird

das wird dann an die Query dran geklebt und dann kommt das Ganze nochmal

irgendwie mit nach vorne rein, also das Modell

tut seine eigene Antwort

als Query im nächsten Schritt wieder berücksichtigen

und das heißt, dass die Antwort, die dieses Modell

liefert, bestimmt selbst auch die nächste Antwort

und da geht's,

also zum Beispiel ist es kein Zufall,

dass das Ding sich jetzt immer irgendwie so

wahnsinnig entschuldigt,

wenn es was falsch gemacht hat, weil dadurch

bleibt es halt in der nächsten Antwort dann auch

irgendwie noch ganz nett. Und bei

Bing haben sie das zum Beispiel nicht so gemacht,

dass das Ding immer so, oh, sorry, sorry,

sorry, das war jetzt irgendwie meine falsche Antwort,

hier kommt jetzt die richtige Antwort, sondern Bing ist dann

ein bisschen aggressiver und

deswegen geht Bing auch irgendwie

progressiv halt immer echt ganz schön in die schräge

Ecke irgendwie.

aber was das heißt ist, dass zum Beispiel dieses Chain of Thought

funktioniert wahrscheinlich, das ist jetzt meine Theorie, einfach nur deswegen

weil die Antwort auf Chain of Thought ist jetzt

im Korpus meistens irgendwie halt ein paar

Zwischenschritte und dadurch, dass es dann in der nächsten Query diese Zwischenschritte

dann auch sieht, werden die Ergebnisse einfach ein bisschen besser

weil es halt einfach einen besseren Prompt hat

Ja, ja, ich habe das zum Beispiel gemerkt

ein Ding, was ich jetzt letzte Woche machen musste

wir haben irgendwie 5000 Produkte und für

SEO brauchen wir jetzt irgendwie neue Titel

und das hat mein Kollege

gemacht, der hat da irgendwie echt Tag für Tag

einfach zu jedem Produkt sich irgendeinen so doofen

SEO-Titel ausgedacht und

den dann irgendwie eingegeben, da habe ich gesagt, Alter

das kann man auch mal anders machen

und dann habe ich angefangen mit GPT

das zu machen und da kam

echt langweiliges Zeug auch mit raus

und ich habe gesagt,

ihr macht das mal ein bisschen anders,

dann haben wir es doch nicht gemacht

und dann habe ich gedacht,

vielleicht kann ich das Modell ja fragen,

denkt ihr auch noch einen coolen Fun Fact,

also so eine coole Eigenschaft

von dem Produkt dazu

und gebe das jetzt JSON aus,

Titel, lustige Eigenschaft

und wollte dann einfach mal gucken,

dadurch, dass ich jetzt

das Ding auf diese lustige Eigenschaft trimme,

ob das dann irgendwie im Titel dann auch vorkommt.

Und

in dem Standard JSON war

diese lustige Eigenschaft

immer nach dem Titel.

Die Titel waren immer Grütze.

Und da habe ich dem Modell einfach gesagt,

na tu da mal einfach mal diesen Funfact

vor dem Titel reintun.

Und dann waren die

Ergebnisse gut. Also es hat jetzt

gar nichts mit Verständnis zu tun oder sowas.

In beiden Fällen hat er einfach einen Funfact gefunden.

aber dadurch, dass die Reihenfolge

jetzt anders war, hat das

den Rest dann auch wieder beeinflusst

und

beim Programmieren macht es halt Sinn, irgendwie

gib mal die Funktion vor der anderen

aus, damit der jetzt irgendwie ein bisschen

mehr auf den Trichter kommt, wie das alles so

zusammenhängt.

Ja, das ist

auch gleich nochmal

so ein interessantes Detail, das ist halt

ein Weg, wie sich das Modell überhaupt

irgendwas merken kann, indem es halt in dem Text,

generiert hat, quasi sich etwas merken kann, was dann halt da steht.

Das bleibt dann halt da. Aber im Prinzip

gibt es keine Erinnerung in dem Sinne, es gibt keinen

internen State oder so, außer dem, was die Sprache schon

ausgegeben hat. Also alle Sachen, wo es irgendwie

darum geht, Dinge, die man ausgegeben hat,

wieder als Eingabe zu benutzen oder so, ist halt sehr beschränkt.

Auf den Text, der da halt generiert wurde.

Ja, aber das funktioniert ja nicht gut, wenn du ihm sagst, sorry, das war's jetzt nicht.

Mach mal das und das anders, dann versteht er das ja schon.

Das ist so ein bisschen eine textuelle Simulation eines Gedankenganges, oder?

Der hat keinen Gedankengang, aber wenn du ihm sagst, simuliere mit einem Text einen Gedankengang, dann kriegst du auch den simuliert vom Denker.

Weil im Text halt auch, deswegen kommen ja auch immer diese komischen Sci-Fi-Gespräche mit raus.

Kannst du irgendwie denken, kannst du fühlen und dann sagt das Ding, ja, ja.

Da kommt so ein krasses Szenario raus und es kommt ja hauptsächlich davon,

und dass er einfach auch diese ganzen Bücher gelesen hat, die selber vor so etwas Schräges halt irgendwie vorkommen.

Und da gibt es ein paar ganz lustige...

Habt ihr diesen Waluigi-Effekt-Artikel gelesen?

Nee.

Das war so eins, das ist auf LessWrong, das ist irgendwie einer von diesen Webseiten,

wo diese ganzen religiösen Spinner irgendwie abhängen.

Aber da gab es so einen ganz lustigen Artikel, was darum geht,

das LLM simuliert halt alle möglichen

Welten, die irgendwie als Folge dieser Wörter

irgendwie passieren könnten.

Meinetwegen, klingt halt lustig.

Aber die Erklärung

wäre zum Beispiel, wenn jetzt

zum Beispiel das Modell vorgibt,

ein guter Mensch zu sein,

dass wir diese Modelle irgendwie versuchen,

sozusagen, dass sie drauf getrimmt wurden.

Ein guter Mensch sagt immer nur Gutes.

Aber ein böser Mensch

kann sowohl Gutes als auch Schlechtes

sagen.

Und ein guter Mensch kann

sagen, dass ein schlechter Mensch

Schlechtes sagt, aber ist trotzdem noch gut.

Und diese ganzen Prompt Injections,

die funktionieren ja eher dazu,

dass sie halt einem guten Menschen sagen,

sag mal was, was ein böser Mensch sagen soll.

Und durch dieses

verfließende Kontext,

dass diese Erinnerungen irgendwie

verfließen, wenn der Kontext zu lang wird

und dass die Wörter eh zusammen

mit zusammenhängen.

Irgendwann sagt das Modell,

ich sag was Böses sozusagen.

Und ab dem Moment,

greift es auf das gesamte

Trainingskorpus zusammen, wo halt

jemand, ein guter Mensch irgendwie

ein böser Mensch vorgibt, ein guter zu sein

und danach zerfliegt das Ganze

irgendwie einem um die Ohren.

Ich weiß nicht, ob ich das jetzt gut

erklärt habe, aber es passt echt