Transcript: Große Sprachmodelle: GPT-4, LLaMA & Co 🎙️

Ja, hallo, liebe Hörerinnen und Hörer, willkommen beim Python-Podcast, Episode 49.

Heute geht es um Machine Learning, mal wieder, wir haben lange keine Folge mehr dazu gemacht.

Ich würde sagen, LLM, Large Language Models, könnte man.

Ja, irgendwie so.

Chat-TPT hat einige komische Vorschläge gemacht für den Titel, die haben sie.

Vielleicht kriegt der später noch einen besseren.

Vielleicht besteht die Episode nur daraus, dass wir die alle nacheinander vorlesen,

immer neue generieren lassen mit den Ausgaben, die es erzeugt hat.

So ungefähr. Und wir lesen auch alles von unserem Skript ab, das auch.

Nein, es ist ein Witz. Hallo, Logan.

Hallihallo, willkommen, Dominik.

Hallo, Johannes.

Und wir haben heute auch einen Gast dabei.

Heute haben wir einen Gast, genau.

Hallo, Manuel.

Hallo.

Hallo.

Vielleicht magst du dich ganz kurz vorstellen.

Hallo, ich bin Manuel.

Ich komme eigentlich aus Deutschland, aber wohne in den USA seit ein paar Jährchen

und bin Entwickler, habe eine lange Zeit Python programmiert,

in den letzten zehn Jahren aber jetzt nicht mehr.

Und momentan arbeite ich bei einer Firma,

die Bäume verkauft.

Aber benutze irgendwie im Alltag dafür

dann Large-Language-Models,

nämlich die, wovor ich eigentlich

PHP und JavaScript

programmiere meistens.

Ja.

Schön, dass du dabei bist. Du hast auch wunderschöne

Sachen im Internet stehen, auf denen man sehr viel

Informationen sammeln kann. Genau.

Schon relativ viel mit den Large-Language-Models gemacht.

Und wenn du magst, stellen wir das gerne noch in die Shownotes.

Und diese Folge wird eine Folge, wo die News

am Anfang, wolltest du die jetzt wegfallen lassen

oder wolltest du noch ganz kurz...

Ja, wir können ja tatsächlich die News lassen passieren.

So viele News, dass wir da halt auch so ein bisschen was

drüber erzählen können. Aber wir lassen die ganzen

Nicht-LNM-News einfach mal weg.

Ja, das heißt, wir müssen nächste Woche relativ viel

nachmachen, weil wir haben die letzte Folge...

Vorbei. Die alte Welt ist vorbei.

Ja, genau.

Wir haben einige Folgen wieder

anhand Terminfindungsschwierigkeiten

ausfallen lassen müssen, die ihr vielleicht gemerkt habt.

Aber dann machen wir tatsächlich nur

AI-News. Darf man AI

eigentlich sagen, Jochen?

Also ich... Es gab Umfragen,

dazu, auf Mastodon zum Beispiel.

Und da hat sich halt so

durchgesetzt, dass die Leute gerne hätten, dass man

die Dinger LLMs oder

Large Language Models nennt. Und

ich, ehrlich gesagt, bin nicht so

begeistert von diesem ganzen AI-Ding, weil

ich immer das Gefühl... Also früher fand ich das schon doof.

Also die AI sagt, es ist Marketing

oder Management. Nein, das ist halt immer das Zeug, was man

noch nicht kann. Ja, wenn man es nicht kann, dann nennt man es

irgendwie anders. Das war vor sieben

Jahren war es ja genauso, wenn die ganzen

Conventional-Dinger irgendwie

rauskamen, aber auch alles AI. Und jetzt ist

es irgendwie alles Vision.

Also jetzt ist es halt Sprache. Und davor

war es auch schon mal ein paar Mal. Und es

gab schon den ersten AI-Winter.

Und dann schon mal... Also diese überdrehten

Erwartungen irgendwie, die die anheizen.

Ich habe so manchmal das Gefühl, dieses

AI, das ist halt so ein Clown-Car

so ein bisschen. Ja, das ist doch super. Das kann ich verkaufen.

Match Case und AI. Und da sitzt schon...

Zirkus-AI. Da sitzen schon ganz

viele komische Leute drin. Und ich weiß nicht, ob ich mich jetzt da auch

noch in dieses Auto mit reinzwängen muss. Also

das will ich vielleicht nicht machen.

Genau, Zirkus-AI war tatsächlich der erste Vorschlag für diese

Episode. Vielleicht müssen wir darauf zurückkommen.

Ja.

Ich finde, dieser KI-Begriff

tut dem Ganzen auch irgendwie so ein bisschen von

seiner Magie nehmen. Weil es im Endeffekt ist ja

was relativ Prosaisches, dass man jetzt

einfach mit Sprache arbeitet.

Und das ist ja das Faszinierende

daran, dass es jetzt irgendwie

in dem Fall ganz besonders

diese eine Technologie eben so viel ermöglichen.

Eigentlich auch gar nichts mit den ganzen

anderen Bereichen von KI,

die sonst standardmäßig

dazukamen, irgendwie zu tun hat.

Ja. Genau.

Insofern, also ich versuche diesen Begriff irgendwie zu

vermeiden. Ja.

Aber

manchmal geht es auch nicht so richtig.

Schieß doch mal einfach mal kurz mit deinen Kurz-News.

Dann können wir nämlich danach wieder auf das spannende

AI-Thema zurückkommen.

Ja, vielleicht haben andere auch welche. Ich gucke einfach mal hier so durch

die Dinge. Es gab diesen lustigen Brief

irgendwie. Vielleicht

den irgendwie viele Leute unterschrieben haben.

Vielleicht sollte man da am Anfang

anfangen, Jochen, oder? Am Anfang.

Am Anfang.

News sind doch

Chat-GPT ist veröffentlicht worden

und das ist eine der am schnellsten

wachsenden Technologien

der Welt. Also die haben irgendwie

schneller eine Million Benutzer

gehabt als... Ja, oder jetzt inzwischen 100

Millionen, wobei das wohl nicht stimmt. Also da muss

man immer gucken, was da so an Marketing

transportiert wird, was da tatsächlich

also diese Zahl

100 Millionen zum Beispiel, die stammt

halt von den Herstellern

irgendwelcher Browser

Erweiterungen, die halt tracken, was die

User so machen. Und ich meine, die Gruppe der

Leute, die sich sowas installieren oder die auf solche

komischen Dinger reinfallen oder draufklicken, ist halt

nicht repräsentativ, hoffe ich mal, für den

Rest der Leute. Insofern ist

das ein bisschen übertrieben, wenn die da...

Also die echte Zahl,

irgendeiner hat sich verplappert, ich glaube Kevin Rose

oder so, und die echte Zahl

ist irgendwie ein Drittel davon ungefähr vielleicht. Aber es ist

immer noch sehr beeindruckend.

Immer noch sehr beeindruckend und immer noch sehr schnelles Wachstum.

Und es gibt auch immer noch

Leute, die noch nicht wissen, was Chat-GPT

ist. Deshalb sollte man

vielleicht ganz kurz noch erwähnen, was

Chat-GPT denn überhaupt ist.

So aus der Sicht eines

Benutzers.

Ja.

Kann es jemand

erklären? Naja, also eigentlich

hast du so ein Chat-Programm,

gibst eine Frage ein und

bekommst eine relativ

hochwertige, würde ich jetzt mal nennen, oder sprachlich

hochwertige Antwort. Ob sie korrekt ist, ist nicht

ganz sicher. Aber das gibt es ja schon lange. Das ist ja jetzt nicht besonders beeindruckend.

Na ja. Das gab es ja schon lange.

Ja, gab es schon lange. Warum ist Chat-GPT jetzt

jetzt was Besonderes?

Also die Antwort ist halt neu.

Also es ist halt, bei den alten

Chat-Bots waren die ja meistens so ein Match-Case-Statement

irgendwie. Also richtig

frei war sie jetzt nicht.

Oder das ganze Wissen, was da drinsteckt,

ist sehr interessant. Wissen, ja.

Ja.

Ich glaube einfach, weil es halt so gut

jetzt funktioniert, dass es sich wie

ein richtiges Ding anfühlt.

Und dass man, also

wenn man länger sich damit auseinandersetzt,

dann ist es schon klar,

dass es irgendwie ein Computer ist. Aber

auf Anhieb versteht

es Sprache einfach viel zu gut.

Das ist im Vergleich zu den

vorigen.

Ja, ich fand einen Vergleich sehr gut, den jemand

auch, ich weiß gar nicht mehr wer, gebracht hat.

Das fühlt sich so ein bisschen an wie damals,

als man so

Alta Vista und sowas gewohnt war.

Oder Excite.

Und dann Google kam und man da

Sachen eingegeben hat. Und plötzlich hat man

Dinge gesehen, die

tatsächlich irgendwie so Ergebnisse, die

richtig relevant waren. Genau, also

ich würde, also diesen Vergleich fand ich

gar nicht so schlecht, dass da Leute

gesagt haben, okay, es fühlt

sich so ein bisschen an wie Google

nachzuverwenden, nachdem man halt

Alta Vista und Excite und diese ganzen anderen

Hotbot-Dinger vorher gewohnt war.

Und also es fühlt sich einfach an,

es funktioniert jetzt deutlich besser als vorher.

Also diese Sachen, auch die halt, ne,

der Co-Pilot hatten wir schon mal drüber gesprochen, auf einmal kann das

einfach bahnbrechend super. Und das jetzt

halt so als allgemeines Chat-Interface

nutzen zu können.

Also wie arbeitet ihr da tatsächlich mit?

Benutzt ihr das? Co-Pilot?

Ja, also nicht nur Co-Pilot, sondern auch Chat-GPT?

Ja.

Ich benutze das auf jeden Fall irgendwie tagtäglich.

Und Co-Pilot eigentlich auch, seitdem es

später war. Ja. Also ich finde das auch so

super. Und man kann ihm halt Sachen fragen. Und selbst wenn es

halt nicht richtig ist, was er da sagt, also

man kann sich halt so an so ein Problem rantasten,

an verschiedene architekturelle Lösungen oder sowas.

Und dann halt selber dann, wenn man so ein bisschen

weiß, was man tut, auditieren, was man haben

möchte. Und das ist einfach

so viel Zeitersparnis und total großartig.

Also ich finde das einfach wirklich gut.

Wobei ich sagen muss, dass

ich finde, also ich finde das

Chat-GPT-Interface besser als

Co-Pilot. Also Co-Pilot

habe ich immer so ein bisschen das Problem, das passt

oft nicht so richtig zu dem, was ich da hinschreiben

würde. Also manchmal ist es ganz gut, aber manchmal

nicht so. Wie benutzt du denn Co-Pilot? Das wäre

jetzt interessant. Naja, also

eben oft sehe ich halt eine Empfehlung, nachdem ich

einen Funktionsnamen hingeschrieben habe. Oder

halt, ja, ich fange halt mit irgendeiner Funktion

an. Wahrscheinlich müsste ich zuerst einen Kommentar schreiben.

Ja, also ich mache das auch so. Ich mache halt Funktionsnamen und

dann einen Kommentar und dann

ist es ziemlich gut. Ja, okay.

Was auch wichtig ist bei Co-Pilot,

gerade wenn du jetzt

eine bestimmte Library benutzt,

da irgendwie ein bestimmtes Code-Verfahren

hast und so weiter, ist halt die Datei

auch aufzumachen in deinem

in deiner IDE, weil

er tut dann sozusagen die vorigen besuchten

Dateien und wo du ein bisschen rumgebraust

bist, schickt er halt auch mit.

Das heißt, wenn du ein Beispiel

von dem hast, was du jetzt eigentlich schreiben willst

und das vorher dir Co-

anguckst, dann wird er das

dann nachher auch sozusagen

wiederverwenden. Ja, das ist spannend.

Also, weil ich benutze auf

einem Rechner für einen großen Kunden

tatsächlich Microsoft Teams und das ist ein

Microsoft-System und er benutzt

tatsächlich auch Teams Chat History dafür

für den Co-Pilot. Ist mir heute aufgefallen.

Das war auch schon ein bisschen krass, dass wir so hören.

Das ist ja krass.

Es gibt so einen Artikel online,

wo ein Typ sich das ein bisschen mal

angeguckt hat, ein bisschen reverse-engineert

was dieses Vs-Code-Plugin

da eigentlich überhaupt macht

und das ist echt spannend. Also, das ist irgendwie

da kommen wir

bestimmt später nochmal drüber bei diesen ganzen

Programmieren. Den Kontext, den du

mitschickst, ist halt

extrem wichtig. Das merkst du auch

bei Chat-GPT zum Beispiel, was

richtig gut funktioniert, ist halt, klebt man ein bisschen

was von deinem Code rein und

stellt dann die Fragen.

Und dann kommt halt irgendwie in deinem Code-Style

mit deinen Variablenamen, mit deiner

irgendwie

mit

deinem Stil irgendwie jetzt

mit Async umzugehen.

Kann auch sein, dass das aus dem Clipboard gekommen ist bei mir und halt nicht

irgendwie aus der History.

Wahrscheinlich eher Clipboard als jetzt irgendwie in Teams rumfummeln,

weil das würde ja irgendwelche

keine Ahnung.

Ja, okay, aber es hat halt tatsächlich Teile

davon. Ja, okay, interessant.

Na gut, das sind beides Produkte von

derselben Firma. Man weiß es nicht, aber

Also, ich benutze das

gar nicht. Weder Copilot

noch Chat-GPT. Das ist für mich

eher Kuriosität.

Okay. Ich meine, liegt das an

PyCharm oder

Das kann auch sein, weil es gibt halt auch PyCharm.

Das ist da nicht so gut. Das kann natürlich auch sein.

Ne, PyCharm-Plugin gibt es ja. Ist ja nur

IntelliJ, ne? Ja, ja.

Das ist JetBrains.

Aber das

im VS-Code gibt es ja noch

dieses Copilot-Beta,

Copilot-Labs, wo die so ein paar

Versuche haben, irgendwie was anderes zu

machen. Und da gibt es auch ganz spannende

Sachen, wo sich das irgendwie hin entwickeln

wird.

Meiner Meinung nach.

Ich finde sowohl die Copilot-Interfaces

als auch Chat-GPT sind für

verschiedene, unterschiedliche Sachen

gut.

Ich merke es auf jeden Fall,

ich bin jetzt so Tab-Completion-Programmierer

irgendwie.

Ich schreibe immer irgendwie so

Das Update war

Ich weiß ziemlich genau, dass

meistens immer genau das Completed,

was ich erwarte irgendwie, weil ich

ja eigentlich auch viel einfach

Crud-Apps mache.

Wenn die Funktion heißt Get-Orders,

dann kommt halt auch der Select raus.

Ja, diese Interfaces, man macht halt

eine Get-Funktion, danach kommt Post-Vorschlag oder so was

und das ist halt voll super.

Das ist echt angenehm und das stimmt meistens

relativ gut. Also deswegen, Johannes,

ich kann das sehr nur empfehlen.

Ich hab das mal auch gehört,

aber es hat

einfach nicht irgendwie in meinen Workflow reingepasst.

Ich hatte nicht das Gefühl, dass ich dadurch,

okay,

ich hatte das Gefühl, dass anstatt, dass

ich programmiere, muss ich jetzt diesem

Copilot hinterher aufräumen und das

interessant

zu programmieren.

Ich glaube, das braucht echt irgendwie

auf jeden Fall

mal trainieren und auch irgendwie umdenken.

Zum Beispiel das Copilot, das benutze ich

eigentlich immer nur, um Code zu schreiben,

die ich schon im Kopf habe. Also ich weiß, okay,

das habe ich jetzt eigentlich schon geschrieben.

Wo ich irgendwie teste, dass

dann kann ich relativ schnell Tab-Completen, weil wenn es

nicht dementspricht, was ich eigentlich geschrieben hätte,

dann merke ich es sofort.

Und immer, wenn ich jetzt irgendwie sowas

frage, wo

ich eigentlich nicht genau weiß, was ich haben will,

dann verbringe ich eigentlich

deutlich viel mehr Zeit damit, jetzt zu verstehen,

was da irgendwie kurz auf

den Bildschirm kam, als

es jetzt irgendwie selber zu schreiben.

Also geht mir aus, dass eigentlich nur die Schreibmaschine,

die genau das aufschreibt, was ich eigentlich selber hingeschrieben hätte

und das ist gar nicht so für neue

Sachen machen. Dafür benutze ich tatsächlich eher Chat-GPT.

Aber ja, lieber die

Johannes, ich habe einen Namen für das, was du machst.

Ich würde sagen, du bist jetzt der analoge

Programmierer. Ja, das ist

handhergestellter

Programmierer-Code.

Handcrafted-Code.

Art-Design, irgendwie, genau.

Genau, das wird eine Kuriosität,

die man auf Handwerkermärkten erstehen

kann, die viel zu viel kostet, aber

jeder muss was davon haben.

Hast du dir schon Fleet angeguckt, wenn du noch

bei Python bist?

Nee, Fleet habe ich mir nicht angeguckt. Was ist denn das?

Das ist die neue JetBrains-IDE.

Ja, neu ist eine etwas abgespeckte

Version. Ja, ich habe mir die mal

vor zwei Monaten oder sowas kam,

die mal raus angeguckt und dann so

ah, nee, noch so weit sind die noch nicht.

Dann habe ich sie dann wieder zugemacht.

Ich benutze ja eh VS Code,

da haben wir ja schon ein paar Mal drüber gesprochen, aber das ist ja

Geschmackssache, da haben wir ja auch schon ein paar Mal drüber gesprochen.

Ja, wir wollten aber eigentlich ein bisschen

mehr News machen. Genau, News, News, News.

Also, genau, Chat-GPT, ich meine,

ja, also die Neuigkeit bei

Chat-GPT ist ein bisschen, also

im Grunde ist es nur GPT is free, das ist so

ein Large Language Model.

Das gibt es schon eine ganze Zeit,

ja, diese ganze GPT-Serie,

wie heißt die, General Purpose

Transformer, irgendwas.

General Pre-Trained.

Generative Pre-Trained

Transformer ist es, glaube ich.

Richtig, genau, die gibt es ja schon ein bisschen

länger, aber so mit der

dritten Version wurde das dann halt eigentlich

beeindruckend gut,

beziehungsweise,

naja, es hat halt so Dinge

also, was ich halt total faszinierend finde,

das hatte ich am Anfang gar nicht so

auf dem Schirm, das ist mir dann erst so nach und nach klar geworden,

als ich dann halt Leuten zugehört habe, die darüber geredet haben,

dass man da

Sachen gefunden hat, die das Ding kann,

die man, wo man nicht wusste, dass sie das

können wird. Also sowas wie

zum Beispiel,

schreib mir ein Gedicht. Nee, nee, das war

also, dass das Text generiert werden kann,

das war schon völlig klar,

dass das geht. Was halt nicht klar war, ist halt

sowas wie Few-Shot-Learning.

Das hat irgendjemand zufällig rausgefunden, dass das geht.

Jetzt musst du aber noch ganz kurz erkennen, was das denn

bitte, Few-Shot-Learning. Ja, dass man halt

irgendwie quasi ein paar Beispiele

angibt, also irgendwie sowas wie

übersetzen wir mal von irgendwie einer Sprache

an die andere und hier sind ein paar Beispiele und macht das

in dem gleichen Stil und dann macht es das halt quasi

einfach so. Das war,

soweit ich das weiß, nicht klar,

dass das dabei rausfallen würde, als man

das Ding trainiert hat. Das ist halt etwas, was man

halt Monate später entdeckt hat, dass das halt geht.

Oder was halt auch man irgendwie

deutlich später entdeckt hat, dass es das

tut, ist,

also das ist auch

ein Phänomen, das kennt man von Menschen,

wenn man denen sagt, also zum Beispiel

Studenten, irgendwie, wenn du

jetzt, wenn du hier eine Prüfungsaufgabe hast und

wenn du dir eine Antwort hinschreibst,

dann schreib

die nicht einfach so hin, sondern

erkläre Schritt für Schritt deine Lösung.

Wenn man das macht, dann werden die

Ergebnisse besser. Und das ist

bei dem Ding auch so, wenn man

sagt, irgendwie so,

gib nicht einfach die Antwort aus, sondern

erklär mal bitte Schritt für Schritt, wie du zu

deiner Lösung gekommen bist.

Dann werden die Ergebnisse besser, die man

da sieht. Und das läuft so unter dem

Begriff Chain of Thought. Und

das ist auch etwas, was man erst hinterher

gemerkt hat, dass das funktioniert. Und wer

weiß, vielleicht gibt es noch ein paar Sachen, die das Ding kann, die man jetzt

noch gar nicht gefunden hat. Und bei so bei

GPT-4 ist das halt ganz sicher so, dass

man da wahrscheinlich noch Sachen finden kann,

die jetzt noch nicht klar sind, dass es das kann.

Aber genau.

Was jetzt bei

Chat-GPT im Vergleich zu GPT,

also diesem hohen Modell,

ich weiß nicht, wie schnell wir jetzt irgendwie in die Tiefe

gehen wollen.

Da kann ich einiges für klären.

Vielleicht später einfach.

Ja, genau. Also der Unterschied ist

im Groben, dass man halt jetzt

dem Ganzen so ein bisschen ein freundlicheres

Interface gibt über Chat-GPT,

dass man halt noch mal

einen zusätzlichen Trainingsschritt hat,

der halt dazu führt, dass

die Antworten, die das ausspuckt,

besser...

Zwei zusätzliche Schritte

irgendwie, um das sozusagen

gesellschaftsfähiger zu machen.

Sowohl in der Qualität der Antworten, als auch

wie

es geht.

Und eben, dass

dann auch bestimmte Inhalte

irgendwie nicht an den Tag kommen.

Wobei das

echt

nie funktionieren wird.

Man muss ja nicht allzu

tief stochern, um da irgendwie Dinge

rauszukriegen.

Aber ich glaube,

Chat-GPT ist halt für die

meisten Leute irgendwie tatsächlich so ein Ding, was man einfach

verwenden kann, wo man sehen kann, was das Potenzial

eigentlich ist. Deswegen ist das halt auch so

populär und ist so in den News irgendwie.

Bei GPT-3 konnte man das vielleicht auch schon sehen,

aber da musste man sich halt anstrengen.

Und weil so oft hat es dann einfach nur

das repeated, was man irgendwie ins Popt reingeschrieben

hat oder das Wortgesetz. Wenn man eine Frage geschrieben hat,

hat es die Frage einfach weitergeschrieben. Also es ist halt irgendwie...

Natürlich konnte man das auch so hingehend

beeinflussen, dass es dann irgendwie interessante

Dinge getan hat. Aber das war nicht so ganz einfach.

Und bei Chat-GPT ist es relativ simpel. Da

geht es einfach so.

Ja, und genau, da gibt es jetzt die vierte...

Vorletzte Woche veröffentlicht, die vierte

GPT-4. Das war mal ein bisschen größer.

Das war mal ein bisschen größeres Modell veröffentlicht

worden. Und man kann, wenn man ein bisschen

Geld einwirft, kann man damit auch spielen.

Und das ist jetzt nochmal ein bisschen

mehr von allem

und kann nochmal ein bisschen mehr.

Ja, also das Interessante ist irgendwie, dass

diese Dinger... Also was auch, warum

das so ein Riesenteil ist und da so viel

Geld investiert wird, ist irgendwie,

dass man, wenn man drei Parameter kennt,

halt irgendwie, wie viel

Parameter hat das Modell, wie viel Trainingsdaten

schüttet man da rein

und wie viel Compute kann man aufwenden?

Dann kann man relativ genau vorhersagen,

wie der Fehler, also, weil

das, was diese Modelle tun, ist einfach nichts weiter als

das nächste Wort in einem

Text sozusagen vorherzusagen,

kann man relativ genau

sagen, wie groß der Fehler sein wird. Also da gibt es

eine relativ beeindruckende Kurve, wo

man das halt für die diversen Modelle schon gemacht hat

und man kann die Kurve halt irgendwie

fortsetzen und

hatte die Kurve auch vorher und dann hat man geguckt,

wie... hat man vorher gesagt, da, auf dem

Punkt müsste, auf der Kurve müsste

GPT-4 sein und da war es dann halt auch genau.

Das heißt, man hat den Fehler,

den das Modell dann quasi für diese

Vorhersage macht, sehr genau vorhersagen können,

aber das ist ja gar nicht das Interessante,

was das Ding tut, sondern das Interessante ist halt,

ja, wenn man das jetzt in einem anderen Kontext verwendet

und das quasi

so ein Transfer-Learning für andere Sachen

macht, dann zeigt das Ding halt Eigenschaften

und Fähigkeiten, die man nicht so erwartet hat. Also

so ein bisschen eine Lootbox, ja,

so, man wirft halt Geld rein,

ja, man kann ja sagen, wie viel das kosten wird,

um einen bestimmten Fehler

zu erreichen und dann kriegt man halt noch zusätzliche,

äh, Goodies irgendwie, die da rausfallen,

die geldwert sind. Und, ähm,

ja, dass man das so gut vorhersagen kann,

ist halt so ein bisschen der Grund dafür, warum da jetzt

alle so viel Geld investieren.

Und, ähm, genau.

Und da wird viel Geld. Und da wird

viel Geld investiert. Das sind auch beeindruckende

Neuigkeiten. Also nachdem Chat-GPT

äh, publik

geworden ist und auch gut funktioniert hat,

hat Microsoft direkt eine Milliarde Dollar

in OpenAI

investiert und 49 Prozent davon gekauft.

Ich würde sagen, das war Schnäppchen.

Ja, das kann, ja, es kann so oder so

gehen, oder? Ja, das waren Schnäppchen die ganze Zeit.

Und gleichzeitig auch noch ein paar Teams

entlassen, die irgendwie für, für

AI-Ethik irgendwie zuständig sind.

So ein bisschen Sparen.

AI-Ethik? Nein, was ist das denn?

Ethik?

Ja,

genau. Dann, das ist auch

News, also eine, eine, eine wichtige

News ist halt, dass das so in den News ist.

Das ist ja schon eine ganze Zeit, aber momentan

dreht es halt wirklich so schnell

irgendwie in Zeitungen und,

und irgendwie auf allen größeren Medien

äh, und, ähm,

ja, da gibt's dann, gab's dann zum Beispiel letzte Woche diesen, diesen Brief,

ne, so irgendwie vielleicht mal ein bisschen Pause

machen, auf die Bremse treten. Der Brief.

Der Brief. Welcher Brief?

Ja, äh, genau, da, also das ist halt

irgendwie so, äh, das ist von dem, na,

Max Tickmark, äh, da gibt's so ein Institut,

äh, weiß nicht, ähm,

äh, die haben das Ding irgendwie aufgesetzt.

Das ist auch so ein bisschen eine komische, äh,

Institution, wo sie halt schreiben, na,

wollen wir nicht irgendwie mal ein bisschen, äh,

äh, quasi langsamer machen,

dass wir wissen, wie wir das besser regulieren

können und so. Und das haben dann ganz viele Leute

unterschrieben, teilweise Leute, äh, die wirklich

Ahnung davon haben, so, äh, irgendwie so,

Joshua Benjo und so, ähm,

äh, teilweise auch komische Leute, Elon Musk

zum Beispiel hat's auch unterschrieben.

Und, ähm, jetzt ist halt die Frage, wie, wie

bewertet man das, ja? Viele halten's auch für blöd,

äh, äh, aber,

äh, also was mir dabei halt vor allen Dingen

auffällt, ist, äh, irgendwie,

na ja, also, wie hat das auch jemand

auf Mastodon oder Twitter, äh,

hat dazu geschrieben, ja, so diese ganze AI-Panik,

irgendwie, äh, in letzter Zeit, äh,

riecht für mich irgendwie

ein bisschen streng nach Marketing, also,

ich mein, das ist halt auch sehr gutes Marketing,

ja, ich mein, und es hat auch noch diverse

andere gute Effekte.

Naja, ich mein, die Leute haben beim Internet auch geschrieben,

wofür braucht man das, das ist ja schwierig und schrecklich.

Ja, ja. Es gibt ja auch diese,

diese ganze, diese ganze sozusagen

religiöse Aspekt irgendwie,

dass wir da irgendwie den Gott schaffen, der uns danach

irgendwie in die Hölle verbannt, wenn wir ihn jetzt nicht

irgendwie auf die, wenn wir ihn jetzt

nicht auf, er bauen sozusagen,

es gibt diese ganze, ganze Schläge.

Naja, also, was davon klar sein wird,

dass das halt wirklich Veränderungen bringt, also, wie,

also, ich würd's wirklich mit der Einführung des Internets vielleicht sogar

vergleichen, ja, das halt schon

wirklich viel geändert hat, irgendwie, also,

und wir können die Folgen davon jetzt immer noch nicht so ganz

absehen, ne, weil wir sind ja immer noch eigentlich

mittendrin. Ja, ja, wir sind immer noch am Anfang. Und, ähm,

das hat schon echt die Gesellschaft

arg transformiert und

ich behaupte jetzt einfach mal so, dass

AI,

ich weiß nicht, ob LNMs

dann tatsächlich der, die letzte Interpretation

von der AI sind, wahrscheinlich nicht, ähm,

das auch tun wird.

Ich bin mir ziemlich sicher. Ja, ich glaub, das kann man erst im Nachhinein

sagen, ob das, aber ich weiß nicht genau.

Ich bin mir, ich mein, ich seh das auch

immer, also ich,

bei mir sicher, es wird einiges,

tut's jetzt schon, aber,

aber tatsächlich, äh, grad

für Programmierer

wird es das einiges verändern,

weil, weil, ähm, also, mir ist jetzt schon

klar, ich würde irgendwie im Vergleich zu 80%

der Leuten, die ich, mit denen ich früher

gearbeitet habe, würde ich echt gerne viel lieber

mit.

Mit GPT arbeiten, äh,

krieg ich mehr auf die Reihe, zum Beispiel,

und, und, ähm,

aber was, äh, am Anfang

hatte ich eher Angst, irgendwie, ah, tatsächlich,

wenn wir irgendwie alle Programmierer damit ersetzen

und so, da bin ich mir jetzt gar nicht so sicher, weil, weil

tatsächlich große Konzerne einfach ein bisschen lahm

sind und vorsichtig und

wenn sie jetzt irgendwie schon effizienter

programmieren wollten, dann

könnten sie das jetzt schon einigermaßen gut machen.

Ja. Ja. Ähm,

aber auf, auf persönlicher Ebene oder grad

für, für kleinere Open-Source,

äh, äh, Projekte ist das, glaube ich, echt

ziemlich beeindruckend, weil, also

ich merke das von, von, von meinen

Projekten jetzt, es sind einfach ein paar

Sachen möglich, die,

ähm, die mir vorher

nie in den Sinn gekommen wären, das jetzt irgendwie

zu machen, ne, also so,

zum Beispiel, was, was richtig gut

geht mit Chat-GPT ist,

du kannst auf eine Webseite gehen und im Chrome

Developer-Tools einfach

die Requests aufnehmen, ne, diese,

diese

HTTP-Requests und dann pastest du es einfach

in Chat-GPT rein, sagst mal, mach mir

mal bitte eine schöne API und Proxy,

damit ich jetzt hier auf diese,

auf diese reverse-engineerte Seite

irgendwie einfach mal meine eigenen Tools

bauen kann und das tut's

innerhalb von Sekunden.

Also ich hab jetzt irgendwie APIs für jede

Webseite gebaut, die ich irgendwie nur

kenne, weil, weil es sind tatsächlich

irgendwie drei Minuten, dann hab ich

ein richtig cool aussehendes

Go-API und da kann ich

dann jetzt einfach, ähm,

überall drauf, also und, und,

und dieser Effekt, glaub ich, der macht

es echt möglich, dass wir zum Beispiel in der

Open-Source-Szene oder so, ähm,

na, komplette Dienste wie Gmail oder so

was tatsächlich traktierbar

machen, dass es irgendwie drei Leute

machen können und diesen ganzen

zeitaufwendigen

Arbeit, das

jetzt irgendwie Export- und Import-Tools

und so weiter zu bauen, dass die,

dadurch, dass die jetzt einfach wegfallen,

man sich ein bisschen mehr auf

gute Produkte irgendwie konzentrieren

kann zum Beispiel.

Mhm.

Weil, weil, ähm, also wenn ich jetzt irgendwie am Samstag am Rechner

hocke, dann hab ich echt keinen Bock mehr irgendwie

AWS-Dokumentation

reinzuziehen und irgendwie

nach vier Stunden krieg ich's dann immer noch nicht zum

Laufen, dann ist halt der Samstag am Arsch

und dann mach ich nächsten Samstag dann doch vielleicht

was anderes. Aber

jetzt ist mir klar, dass ich innerhalb von

30 bis, 30 Minuten bis zu einer Stunde

tatsächlich einen Dienst auf die Reihe kriege

und das macht's dann deutlich,

deutlich anders irgendwie jetzt.

Ich sag's jetzt nicht.

Das ist immer Change Request

fünfstellig, ne? Das ist ja klar.

Ja, aber

genau, also ich meine, eben,

wenn man ein Ziel hat und

dann kann man jetzt mehr

bewegen, das ist, denke ich, auch

auf jeden Fall eine Konsequenz dieser Geschichte.

Und eben für größere Organisationen,

ich meine, die Organisationen sind sowieso eher limitiert

eben durch die interne Kommunikation und

weiß ich nicht, Prozesse und seltsame

Dinge, die man halt so tut.

Ja, für die wird's jetzt ein bisschen schwieriger.

Also, wenn

jetzt so

im Dreierteam, wo du dich halt

alle gerne kennst und einfach immer die Pull-Requests

immer abnicken kannst, weil du weißt, naja,

der hat das schon richtig gemacht, dann

kannst du halt echt irgendwie

tatsächlich irgendwie 5000 Zeilen pro Tag

merchen und sagen, ja, es

wird schon passen. Und in der Firma

ist dann irgendwie, was ist denn das? Und dann

dauert's wieder drei Wochen.

Ist auch egal, ob du jetzt

eine Stunde gebraucht hast oder zehn Minuten,

weil im Endeffekt geht's halt um diese

drei Wochen.

Ja. Ja, aber dieser, das ist halt

was, dieser Produktivitätsgewinn,

ne, den kriegst du aber auch nur hin

mit Leuten, die so ein bisschen wissen, was sie tun.

Und das ist halt,

ja, es ist schwierig zu kommunizieren irgendwie,

ne, das ist doch wieder so Informationsasymmetrie,

die

im Moment auf unserer Seite noch ist.

Ja.

Ich sehe das,

also auch wenn du, was ich

jetzt ziemlich beeindruckend finde,

ich kenne jetzt irgendwie so drei, vier Leute, die

vorher nie programmiert haben, ne, und halt auch

nie was mit so Node-Code-Tools

gemacht haben oder was auch immer, und die haben jetzt einfach mal

angefangen, tatsächlich irgendwie ein paar Apps

auf die Reihe gekriegt, so

irgendwie so Google-Sheets-Anbindungen

und irgendwie eine React-App

und so, und die sind jetzt halt vom Fieber gefasst,

weil sie wissen, also ich meine,

ich hab ja im Endeffekt auch damit angefangen,

dass ich jetzt aus der Zeitschrift irgendwie

Basic abgetippt habe und keinen

Schimmer hatte, was das jetzt irgendwie soll.

Und irgendwann lief's dann

und diesen Effekt sehe ich jetzt

gerade auch, dass so

die erste No-Code-Lösung

ist, wo Leute tatsächlich

richtige Programme schreiben.

Ja, also ich fand auch, dass das,

dass die,

dass der Vergleich eigentlich gut war. Ich meine,

viele Leute machen da Dinge mit Excel

und für viele Leute ist halt Excel dieser

Einstieg und jetzt hast du halt nochmal einen anderen Einstieg,

der vielleicht eine ähnliche, ähnliche...

Oh, und das ist auch

gerade der Anfang, ne, weil im Moment

tun diese Leute sozusagen Programmiersprachen

programmieren, die halt nicht

für LLM gedacht waren, ne,

und es

passt eigentlich relativ

ähm, irgendwann

gehe ich dann mal auf meine ausufernde

Erklärung, wie diese Dinger funktionieren

und was man damit...

Es ist so ein bisschen gemein, also wenn man vorher so jemand war, wie

Jochen oder sowas, gesagt hat, ah,

geht auch ein Hübscher oder sowas, ne,

das war früher noch so ein USP, weil es gab nicht viele Leute,

die so schöne Code-Qualität liefern konnten.

Und jetzt sagst du einfach, ChatGPT,

oh, mach diesen Code doch mal bitte hübsch, ja,

und es kommt wirklich eine beautified Version raus,

wo ich sagen muss, hey, wow, das kann man sich wirklich

angucken und ich hab manchmal so ein bisschen

Dirty-Code, der halt irgendwie geht, ne, wo du denkst,

ah, so erst mal hingerotzt und dann

hast du früher dann für Refactoring ein bisschen länger

gebraucht und jetzt schmeißt das einfach in diese Maschine

und bekommst direkt echt eine ordentliche Version mit ordentlichen

Namen und Formatierung

und...

Für Code, also dieses Code-Schreiben,

es gibt immer diese Einstellung, okay, diese

Maschine ist jetzt einfach da, ich sag ihr einfach

irgendwie, was ich will und dann schreibt sie Code dazu

und das funktioniert eigentlich nicht so

wahnsinnig gut. Also es ist irgendwie, wenn ich

jetzt irgendwie dem Programm sage, bauen wir mal

eine Webseite, dann baut's halt eine Webseite,

aber irgendwie so

genial ist die nicht und meistens

komplizierterer Code geht einfach gar nicht.

Aber wenn du jetzt zum Code

transformieren irgendwie das Ding

benutzt, dann tut's meistens irgendwie das relativ das

Richtige machen, das heißt, du pastest irgendwie

dein Rods-Code da rein und sagst so, ey, kannst du

mal irgendwie einfach mal eine Fluent-API dazu

bauen und dann machst du das halt und dann sagst

du, kannst du mal bitte ein Singleton

da reintun und dann vielleicht irgendwie

ein separates Package und

dann bist du halt nach

20 Minuten oder nicht mal

20 Minuten, nach 10 Minuten irgendwie

fertig damit

und dieser

großartige Effekt, den ich bei mir merke, du bist halt

nicht müde danach, du hast jetzt nicht

irgendwie detailliertes

Code und diese

Variable dahin und das irgendwie umbenennen

und hier irgendwie Syntax-Fehler,

das ist halt alles weg und

im Endeffekt fühlt sich das so an, als hättest

du mit deinem Kollegen einfach mal ein bisschen

gelabert und

aber trotzdem sind dann halt irgendwie 500 Zeilen

Code irgendwie sauber geworden und

sagst du, cool, jetzt gehe ich

einfach mal einen Kaffee trinken.

Ja, finde ich auch. Also genau das ist so dieses,

man hat so ein bisschen mehr Luft, das ist echt angenehm.

Ja, es hebt das halt alles nochmal

auf eine etwas höhere Abstraktionsebene. Ich meine,

klar, auch wahrscheinlich

ist halt irgendwie ein bisschen

Python-Code schreiben und da mal

irgendwie vor irgendwie

Item in irgendwas anderem

Iterator irgendwie hinschreiben natürlich deutlich

angenehmer, als man ja Assembler irgendwie schreiben

müsste, weil so, da wäre man dann halt lange

beschäftigt und auch ganz schön erschöpft wahrscheinlich.

Ja, und jetzt geht es halt nochmal

ein gutes Stückchen weiter in die Abstraktion.

Das ist halt,

ja, das

ist eigentlich...

Was halt auch irgendwie, also ich nenne das irgendwie so

Programmieren

mit Mundgeschwindigkeit

sozusagen, da kannst du halt irgendwie labern und

dann kannst du tatsächlich in deinem Chat-GPT-Chat

einfach mal 5000 Zeilen Code

erzeugen lassen und dann schließt

den Tab und dann sind die einfach weg und das würdest du

halt eigentlich in deinem Editor nie machen.

Jetzt irgendwie 5000 Zeilen hervorzaubern

und sagen, naja, das sieht alles nicht so

genial aus, das gefällt mir jetzt irgendwie

gerade nicht, ne, und

das jetzt machen zu können

und ich tue da tatsächlich

auch ziemlich viel mit Experimentieren,

so wie wild kannst du damit jetzt umgehen,

ich lasse mir jetzt irgendwie Betriebssystem

Scheduler irgendwie ein Bash schreiben

und dann sage ich irgendwie, ich schreibe mal

das Bash, als hätte es irgendwie Tolkien geschrieben

und dann gucke ich einfach mal, was so rauskommt

und

da kommt tatsächlich einiges Spannendes,

mit raus, weil erstens

kommt, also

tut man dadurch irgendwie dann schon sehen, wie so ein

Scheduler funktionieren kann oder könnte,

auch wenn der Code jetzt irgendwie einfach mal

Unsinn ist, aber

das ist, das würde

ich sonst ja halt nie machen, jetzt irgendwie ein Bash-Datei

aufmachen und dann versuchen, irgendwie ein Scheduler

zu schreiben, das ist

erstens ist das irgendwie anstrengend und

dann bringt es eh nichts

und so ganz

so will ich mein Soundtrack auch nicht verbringen,

aber das jetzt einfach mal fünf Minuten auf dem Klo

zu machen, ist dann irgendwie schon, ist dann

schon irgendwie, also man lernt irgendwie

enorm viel dazu,

indem man einfach

so wilde, semantische

Förderung durcheinander

würfelt.

Das ist halt auch nochmal so ein Riesenvorteil, finde ich, ja.

Also wenn man jetzt irgendwie

so ein Problem auf Stack Overflow suchen musste

und sich dann eine Antwort überlegen muss, ist die gut genug,

die klickt man jetzt von Chat-TV quasi auch

direkt ausgespuckt, wenn man die richtige Frage stellt, ohne

dass man jetzt diese Klicks hat und

dann kann man auch noch auf Regenerate klicken und kann

sich das Problem von verschiedenen Seiten angucken.

Das Regenerate ist richtig wichtig, das kennen

irgendwie viele Leute nicht, aber zu sehen, wie

stabil jetzt zum Beispiel ein Prompt ist,

also wenn du jetzt zum Beispiel so eine Art gefunden

hast, eine Frage zu formulieren und offen,

manchmal ist es halt einfach Zufall, dass du jetzt

irgendwie so eine geniale Antwort rauskriegst,

dann sagst du, oh krass, was hat das Ding gemacht und dann

drückst du fünfmal auf Regenerate und

das ist jedes andere Mal irgendwie einfach totaler

Unsinn und dann

also das merke ich oft

bei Leuten, die sagen, ey, ich hab das Ding mal gefragt,

wie ihr es so und sowas macht und das hat es irgendwie

alles rausgefunden. Das versteht

irgendwie echt, wie man jetzt zum Beispiel kocht

und aber eigentlich

versteht das Ding ja einfach gar nichts, es hat einfach

irgendwie diese

ähm, das mach ich

später noch, diese ganze Erklärung,

wie die Dinge funktionieren.

Was mich professionell immer

geärgert hat, ist, dass Leute nie

genug

Code schreiben, um ihn wegzuwerfen.

Also einfach mal Sachen auszuprobieren

im Sidebranch und sagen, ey, ich hab da jetzt

zwar richtig viel Arbeit reingesteckt,

aber so, das

lohnt sich dann doch nicht.

Ähm, und dadurch endest

du dann oft irgendwie mit so halbgaren

Code auf dem Mainbranch,

der halt eigentlich nicht

wirklich geschrieben hätten sein sollen,

sondern vielleicht hat man sich das dann doch mal

nochmal überlegt

und es wird oft nicht gemacht, weil einfach Zeitdruck

da ist.

Jetzt muss es irgendwie shippen, egal, ob es jetzt

irgendwie super ist oder nicht.

Ja, noch mehr Tage kosten mehr Geld und dies, das, ja.

Und

dieser Umgang mit Legacy oder halt mit

Codequalität,

das braucht, also ich denke mal, wir haben

das Agile

oder halt das Unit-Testen, das

mit

solchen Technologien möglich

ist, noch nicht gefunden.

Also ich vergleiche das

immer irgendwie mit diesen älteren

Programmieren-Zusammenhängen

und die meinen dann alle, ah, aber

das ist jetzt alles mit den Junior-Developers

und die haben ja jetzt überhaupt keine Möglichkeit mehr,

den Code zu lernen und was wir

können, ist halt irgendwie das Wichtige bestimmen.

Ich sag so, ey, du hast,

das Problem ist eher irgendwie, was

mit dir passiert, weil

den Kids ist es halt echt egal,

ob die jetzt guten Code schreiben

oder nicht, die schreiben einfach Code.

Und so, also ich weiß,

als,

warst du auch in Karlsruhe an der Uni oder in der

Fachhochschule? Ja, ja, genau,

an der TU, ja.

Als ich

als ich 99 der andere war,

angefangen habe, da hatte ich halt irgendwie

groß als Professor und

wer auch immer halt die ganzen alten Knacker

und die meinten dann auch, na, was wichtig

ist, ist halt irgendwie auf Papier zu programmieren,

weil wir früher immer mit

Batchjobs und irgendwie Lochkarten

programmiert haben und das ist eigentlich

eine richtig gute Art zu programmieren, weil man

dann sehr genau

über sein Programm nachdenken kann und nicht halt

irgendwie mit VI und GCC

und Linux und sowas. Was soll ich jetzt

irgendwie einen Tag warten,

um ein Programm auszuprobieren?

Ja, das ist jetzt auch egal.

Aber genau die Möglichkeit,

jetzt irgendwie sowas in so einem

stringenten Loop ausführen zu können, hat

halt eben zu Unit-Testing und so weiter

geführt. Das ist irgendwie, also

klar ist es gut, einen Tag lang über sein

Programm nachzudenken, aber es ist auch ganz cool,

innerhalb von Millisekunden

das einfach mal laufen zu lassen, zu gucken,

ob es funktioniert oder nicht.

Ja, ja, ich meine allein schon, also ich würde

das auch eine der großen Stärken, wenn man jetzt so eine

interpretierte Sprache

schreibt wie Python, auch

in einem Notebook, gegenüber jetzt

sowas wie C++, ja, wenn man halt irgendwie so ein

Compile-Cycle von irgendwie ein paar Minuten dazwischen hat,

das macht einen halt einfach total langsam.

Also allein diese paar Minuten machen es halt schon

fies.

Ja, auf jeden Fall.

Und was ich sehe, was jetzt zum Beispiel

Für C++?

Ja, ich glaube,

es gibt auch alles.

Ja, ja, klar.

Wo ich sehe, wo es sich hinentwickelt,

weil ich baue diese Sachen für meinen Chef jetzt,

also er kann irgendwie

Webdesign ein bisschen, aber HTML kann er nicht,

ne, er tut dann immer ein Figma-Kram klicken

und so ein bisschen SQL kann er auch, aber

so wirklich nicht.

Und wenn du jetzt zum Beispiel so eine

Zwischensprache entwickelst, die

sich relativ leicht zu richtigem

HTML umwandeln lassen kann,

also jetzt ChatGPT zu fragen,

HTML bauen zu lassen,

das mit unserem CSS funktioniert, das ist einfach

Unsinn, weil das kriegt er, das kriegt es nicht hin.

Aber jetzt einfach so eine Zwischensprache,

wo ich sage, wenn du jetzt irgendwie

ein Order-Feld haben willst und irgendwie ein Button hier

und ein Button da, dann kommt halt unser React raus,

den kann ich dann einfach,

der kann dann einfach

mal irgendwie drei Stunden lang

mit ChatGPT UIs ausprobieren,

bis er halt die raus hat, die er eigentlich will.

Und

das wäre jetzt sozusagen diese Arbeit als

Programmierer, jetzt rauszufinden, welche

UI will er jetzt wirklich? Und ich

kann jetzt auch nicht mit ihm am Rechner hocken und da

irgendwie HTML rauszaubern und sagen,

willst du das?

Das fällt jetzt alles weg, ne? Und diese

als Senior-Developer kann ich

mit dem Kunden reden, um zu verstehen, was er will,

ist irgendwie, das wird

sich, glaube ich, ganz gewaltig ändern, weil

im Endeffekt, der Kunde

weiß halt, was er will und wenn er das

ChatGPT sagen kann und das dann ausprobieren,

dann ist er als Senior-Developer halt auch

aus.

Ja.

Ja, ja.

Ja, es ist spannend, ich meine, es ist so unklar, wo sich

das hinbewegt und was dann die neuen Rollen sein werden,

aber ja, es kommen Dinge in

Bewegung, das ist auf jeden Fall so.

Ja.

Es ist das Gleiche wie mit Blender-GPT jetzt, ne?

Du kannst halt irgendwie kein Blender wirklich, aber

jetzt kannst du einfach mal ausprobieren, Feeds

zu machen und das wird wahrscheinlich...

Jetzt hast du Johannes deinen Pick genau, jetzt muss der Johannes mal erklären,

dass er Blender-GPT picken wollte.

Hab schon...

Achso, das ist jetzt schon weg.

Ja, aber...

Johannes, du darfst kurz erklären, was

Blender-GPT macht, also ich möchte das unbedingt auch...

Ja, Blender, ja, das ist großartig,

das musst du mal unbedingt ausprobieren.

Blender-GPT ist quasi eine Integration

von Chat-GPT, da gibt's ja

eine API dafür, das heißt, das kann man sich auch relativ

einfach

in Programme reinholen, sag ich mal.

Simon Willison hat da viel

Vorarbeit geleistet, es ist mit

zwei Zeilen Python, kommt mal da so weit.

Und jemand hat das halt gemacht

und in Blender integriert und

dem auch schon entsprechend genügend Blender

beigebracht oder diesen Prompt beziehungsweise

so vorbereitet, dass du einfach

quasi eintippen kannst, was du in deiner Szene

haben möchtest. Und

dieses Blender-GPT-Plugin,

das schreibt dann den

Code, also Blender hat ja

eine Python-API,

das heißt, JetGPT

bedient quasi Blender

für dich, um die Sachen zu machen,

die du eben per natürliche Sprache sagst.

Das ist voll super. Also mein allererster bezahlter

Kunde war tatsächlich eine Automatisierung

für eine Produktion, die in Blender

Modelle generiert hat.

Das musste ich halt auch dann mit Python irgendwie skalieren

in Größe oder sowas, ging um Schuhe.

Aber

total spannend. Ich wollte immer mal richtig Blender lernen.

Ich konnte halt nur was mit der Python-API machen und das

musste jetzt gar nicht mehr. Genau, genau.

Das muss ich jetzt gar nicht mehr. Darauf wartet man halt

immer. Und ich kann jetzt einfach Blender

sagen, hey, ich hätte gerne meinen Hintergrund

mit der Sonne, aufgehenden Sonne über Wasser

oder sowas. Das will ich unbedingt

machen. Probier das mal aus.

Dieses Demonstrationsvideo sieht sehr

beeindruckend aus. Ich schicke dir mein

Content dazu, also das Video.

Ja, verlinkst du einfach, oder, in den Shownotes?

Ja, du verlinkst erstmal in den Shownotes das

Blender-GPT-Unternehmen.

Aber es gibt ja noch mehr News, oder?

Ja, es gibt ja noch mehr News.

Ich sag jetzt mal einfach ein paar Tiernamen,

die mir gerade so einfallen. Ich sag mal

Lama,

Alpaka,

Vicunia.

Ja.

Gab's da vielleicht

zu diesen spezifischen Tieren, gab's da irgendwelche

News in den letzten Wochen?

Da haben die dich angeschritten.

Genau, eine ganz interessante Geschichte.

Also das ist halt, also GPT-4

generiert mehr News-Buzz, aber

vielleicht die wichtigere

Geschichte, die passiert ist,

ist das halt, also man kommt

ja an die Open-AI-Modelle, also GPT-4,

GPT-3, nur über APIs ran

eigentlich. Man kommt nicht wirklich... Ganz anders, als

der Name es vermuten lässt. Ja.

Und es ist nicht so richtig

open, ja. Es ist halt so halb open.

Wobei es gibt dann... Sobald

Kohle irgendwie am Horizont gab,

ist es nicht mehr so richtig.

Selbst im letzten Paper sagen die

nicht mal, wie groß das Modell ist.

Das ist irgendwie...

Das ist super.

Das war's.

Das ist schon... Also der letzte Technical Report

zu GPT-4 ist halt auch so,

sondern auch die Kommentare waren relativ

verächtlich dazu, wo die Leute sagten, ja, das ist doch

kein Paper,

das ist auch kein technischer Reporter. Das ist irgendwie

eine Marketingbroschüre, ja. Da ist da überhaupt nichts mehr drin,

was man irgendwie... Und dann auch diese ganzen...

Die Resultate sind halt auch... Also das ist nicht

peer-reviewed, das nicht... Also wenn da Leute

immer claimen, dass es

dies oder jenes könnte, ja, also

das hat niemand unabhängig überprüft,

ob das wirklich so ist, weil auch keiner das Modell in die Hand

bekommen hat. Und, äh,

das ist alles auf Hand ausgewählten

Geschichten gewesen und so. Also das ist alles...

Das muss man alles mit sehr viel Salz und

Vorsicht genießen. Ansonsten, ähm,

wird man da in die Irre geführt.

Ja, aber ihr würdet doch auch alle euer Essen.

Ja, ja, aber... Also man muss da schon...

Was man bei GPT-4 auf jeden Fall

merkt, zumindest vom Programmieren

her, ist, es programmiert halt

einfach echt ganz schön gut so.

Ja, das schon. Also es ist schon was dran.

Also es ist nicht nur Marketing-Fluff, aber

es ist...

Aber eigentlich wollten wir doch jetzt auf die wunderbare...

Ja, genau.

Ja, genau. Also man kommt da nicht wirklich dran.

Man kann es nicht wirklich modifizieren, das Modell, weil

jetzt das Feintunen möchte auf irgendein anderes Problem, was man

da hat oder so. Das geht nicht.

Das ging nicht, wolltest du sagen.

Ja, genau. Und also da kommt dann da mal

ins Spiel, also irgendwie Facebook... Also die haben ja halt

alle Google, ja,

irgendwie Facebook. Bei Apple weiß man

es nicht so genau. Die sind noch ein bisschen

opener als OpenAI sozusagen, was diese

Dinge angeht.

Also die sind die openst.

Dann kaufst du das Corporate Design ein.

Ja, also da weiß man nicht. Wahrscheinlich haben die auch irgendwas

in der Richtung.

Und genau,

das Large Language Modell

von Facebook heißt halt, oder von

Meta ist Lama und

da hat irgendjemand irgendwie den... Also wie

werden die Gewichte verteilt? Das ist halt eine Menge Daten.

Das geht immer mit Torrent und irgendjemand hat in einem

Pull-Request auf GitHub irgendwie den

Torrent-Link halt

mit reingeschrieben.

Ich glaube, der Pull-Request ist immer

noch offen. Der ist immer

noch da.

Aber die waren ja von Anfang an wesentlich

offener mit ihrem Modell. Das war ja von

Anfang an so für

Wissenschaftler jetzt in Anführungszeichen

gesagt, ja, das heißt, du konntest da eine E-Mail hinschreiben

und sagen, ich bin Wissenschaftler und ich forsche

an diesen und jenen Dingen und dann

hast du die Gewichte sofort gekriegt.

Ja, so typisch kommst du an die von

OpenAI auch dran. Aber es ist halt,

die praktischen Hürden sind halt so hoch, dass

die meisten halt nicht rankommen.

Ja, aber also

die praktischen Hürden sind in Milliardenhöhe,

meinst du? Ich weiß es nicht genau.

Ich hab's nicht versucht. Also keine Ahnung.

Ähm, ja und

bei Facebook ist es relativ simpel. Man klickt halt

auf diesen Magnet-Link und dann läuft

da irgendwie der Beton-Client los und dann irgendwie

also bei mir hat es irgendwie, es ging

überraschend schnell. Das hat irgendwie so eine Stunde

oder so gedauert oder sowas und dann hatte ich die

250 Gigabyte unten.

Genau, sind der x200

oder 270 Gigabyte oder so.

Bei mir war dann auf dem Laptop die Festplatte

voll und dann hat er erst mal gesagt, äh.

Ja, ist schon ein bisschen

größer. Es gibt da auch ein Ding, damit kann man

dann die, äh, ich weiß auch nicht genau.

Und was ist dann, also man muss ja noch

ein bisschen mehr dazu erzählen, oder? Also das sind

ja vier verschiedene Modelle. Eins mit

7 Milliarden, eins mit

13, eins mit 30 und eins mit

65 Milliarden Parametern und entsprechend

schwierig sind die auch auszuführen, weil

das eine braucht halt 4 Gigabyte RAM

und das nächste 8 und das nächste

äh, 24

und das größte, weiß nicht,

40. Und

ähm, weil die halt,

in Grafikkarten passen müssen,

ähm,

ist das schwierig, weil Grafikkarten

mit 40 Gigabyte RAM sind relativ

teuer. Gibt's, aber sind relativ teuer.

Die A100 oder sowas, die hat 40 Gig, und die

kann man sich, habe ich gesehen, über eine API zum

Beispiel mieten, über eine Python API. Das ist halt aber auch

natürlich wieder ein proprietäres Service. Man kann die auch kaufen.

Oder man kann die kaufen. Die kosten ungefähr

10.000 Dollar das Stück, also es ist nicht ganz

günstig. Also

Corporate Grade, aber ich sag mal so, also die

gibt's schon. Ich hab's mir aber auch mal

durchgerechnet, ne, wenn du es jetzt nur zur

Inferenz brauchst, dann macht's eigentlich überhaupt keinen Sinn,

sowas selber zu kaufen.

Ganz kurz erklärt, was bittest Inferenz?

Achso, das ist jetzt

einfach das Ding, das Modell benutzen

als Modell. Man gibt

Wörter rein und es kommen Wörter raus.

Und zum Trainieren,

also gerade Feintuning,

was jetzt irgendwie nur ein paar

gewisse Gewichte des Netzwerks

irgendwie zu trainieren, das sind ja mehrere

Schichten.

Dazu braucht man,

je nachdem, wie lange man trainieren will, dann darf

ein bisschen mehr, aber auch selbst dort

hatte ich mir mal durchgerechnet, wenn ich mir jetzt irgendwie

zwei NVIDIAS kaufe und jetzt irgendwie

so ein 7 Billionen, 7 Milliarden,

dann sagt ihr Milliarden

auf Deutsch.

Genau.

7 Milliarden Modell irgendwie durchtrainieren will, dann macht's

immer noch mehr Sinn, sich das eigentlich einfach in der Cloud

zu mieten.

Und also jetzt

für diese, wenn ich jetzt so eine

Inferenz mache, also tatsächlich irgendwie mit

dem Modell chatten

will oder sowas, dann brauche ich ja eigentlich immer nur,

ein paar Sekunden Inferenz

und dann muss ich mir das durchlesen,

eine Antwort und so, dann macht's eigentlich mehr Sinn,

jemand anders zu bezahlen,

dass er doch bitte die ganzen

Rechenkarten irgendwie

bei sich im RZ stehen lässt.

Hast du denn einen Lieblingsanbieter, wenn wir jetzt mal hier

Werbung machen wollen?

Ich hab da recht wenig

gemacht, also ich weiß, bei Hugging Face

lasse ich immer irgendwie meine Sachen laufen,

aber gibt's ja eigentlich wie Sand am Meer

Anbieter, wo du dir eine

GPU mieten kannst zum Beispiel.

Und ich vermute,

es wird auch dorthin gehen, dass man

als Open-Source-Entwickler sowas mit diesen

Modellen einfach mal bei einer kleinen Firma

sich die anmietet oder einfach mit einer

kleinen Gruppe sich irgendwo

im RZ irgendwie eine Kiste hinstellt.

Ich hab tatsächlich, glaube ich, auch so ein paar

Anbieter entdeckt, die das irgendwie ganz interessant

ganz interessante Angebote

Die wird's ja wie Sand am Meer geben, weil

da hat ja jeder Interesse

jetzt irgendwie, also wenn du

diesem Business-Modell verfolgst,

dann wird's halt so billig sein, wie die Hardware

zu betreiben ist.

Also ich liste mal ein paar auch, die irgendwie jetzt

BeanCloud, Pipeline AI, Seribium AI,

Banana Dev oder sowas, sind mir jetzt einmal

so über die drüber gelaufen.

Ja, wir müssen es nochmal ausprobieren, wenn die

mal eine Werbung machen, aber ja, also ich hoffe nicht,

aber dass das da halt eigentlich ganz gut

aussieht, die haben teilweise Python-Module oder halt

einfach... Ich mach mal für

Hugging Face ein bisschen Werbung, das ist jetzt so

eine Seite, die

tatsächlich irgendwie für Open

Modelle irgendwie sozusagen

zur Verfügung steht, die tun dir auch

Compute zur

Verfügung stellen, aber es gibt auch

einfach eine Webseite und eine Reihe

Python-Libraries und es gibt Bücher

mit Python, also ich hab das hier,

was ich echt empfehlen kann, das heißt

Natural Language Processing with

Transformers mit den ganzen Hugging

Face Libraries und

die machen das enorm einfach.

Bestimmt wieder auf der Europython.

Da war nämlich auch das Team von denen da, da ein paar

Leute, die haben da coole Sachen auch gemacht auf der letzten

Europython, sind bestimmt wieder da.

Die haben coole Videos, man kann sich da einfach

auch irgendwie Checkpoints und verschiedene andere

Gewichte einfach austauschen und

bei anderen Leuten so kleine Apps

irgendwie bauen, die man austauschen kann, das ist alles

echt ziemlich beeindruckend. Da gibt's halt so ein paar

coole Usability-Tools auch dafür,

also man kann jetzt Gradio benutzen, um

sich das einfach so ganz schnell so eine Web-App zusammen

zu... Klicken wollte

ich fast sagen, aber zu coden, indem

man halt ein paar Teilen dann irgendwie so ein Web-Interface

hat, mit dem man das benutzen kann, wenn man jetzt

irgendwie eine Klassifizierung... Die können sich dann

Leute forken und dann auf ihren

eigenen Kosten sozusagen benutzen

und damit man jetzt nicht irgendwie...

Ja, genau.

Also jedenfalls, wir haben

jetzt diese Lama-Gewichte, das haben wir jetzt da

und das heißt, wir haben im Grunde so ein Modell, so ähnlich

wie GPT, also ich weiß jetzt genau,

wie der

En-Detail-Vergleich aussehen würde, aber

das haben wir jetzt da und wir können damit spielen, wir können

die Dinger feintunen für andere Sachen und so

und das ist natürlich großartig.

Da hat sich dann

auch sofort eine riesige Szene an

Leuten, das hat irgendwie nicht lange

gedauert, bis dann irgendjemand

das in C++ irgendwie

quasi so implementiert hat, dass man

CPUs laufen lassen kann.

Alpaka ist Lama 7b.

Alpaka.cpp

Ja.

Und das geht dann auch auf erstaunlich kleinen

Maschinen, also dieses 7b-Modell,

also das 7-Milliarden-

Parameter-Modell, kann man ja relativ

leicht ausrechnen, wie viel

Hauptspeicher das verbraucht, aber

das 30 Milliarden

parallel geht auf meinem Laptop, also irgendwie mit...

Genau, also man kann die wohl

so gut runter

quantisieren,

dass man sie auf 4-Bit-

Breite quantisiert hat

und die gehen immer noch, erstaunlicherweise

gehen die immer noch gut genug,

dass man, also

dieses 7b-Modell kann man auf einem Raspberry Pi

ausführen und

die verbrauchen jetzt halt auf

einmal nur noch halb so viel Hauptspeicher, wenn man

sie halt auf 4-Bit runter quantisiert

und so Rechner

mit 32 Gigabyte Hauptspeicher sind ja

heutzutage nichts

außergewöhnliches mehr und da

passen dann schon die großen Modelle rein, also es ist

ganz erstaunlich,

wie schnell sich das

getan hat, ja, und

die letzten Neuigkeiten,

die ich dazu gehört habe, ist, dass es da

einen Pull-Request gab, wo sie das

Speichermodell umgestellt haben

und

die große Änderung ist wohl, dass sie die Dateien

jetzt Memory mappen und nicht mehr komplett laden,

das heißt, es werden nur noch die Teile

von dem Modell geladen

die auch aktiviert werden durch einen Prompt

und das halbiert wohl noch mal den

Speicherverbrauch.

Das rafft mich aber nicht so ganz, wie das mit

den, dass es nur die Hälfte des Modells

irgendwie aktiviert, weil eigentlich

geht ja alles durch alles.

Es gab da ein bisschen Diskussion, ich habe es mir jetzt nicht

genau, aber

das ist so der Konsens, ja, dass

das Modell nicht ganz verwendet

wird und deshalb bei jeder Aktivierung oder

bei jedem, sag ich mal, Lauf

nur die Hälfte, also auf jeden Fall

ist es ganz beeindruckend, wie

schnell das ging, dass es auch auf

auf kleinen Maschinen

ging, auf Handys, auf Raspberry Pis,

auf normalen Laptops und ich meine, wir sind ja Entwickler,

wir haben ja normalerweise Entwickler-Laptops,

die nicht

ausgebaut sind, das heißt,

wir können ja durchaus dann auch schon die

größeren Modelle anfassen, die dann

wirklich auch qualitativ erstaunlich

gut sind, obwohl jetzt die Parameterzahlen das gar

nicht auf den ersten Blick erscheinen lassen.

Ich glaube, für Programmiere und

Programmgenerierung sind die auf jeden Fall

vollkommen fähig, also

als Programmiersprachen, in dem Sinne

relativ einfache menschliche Sprachen

sind, so.

Und auch generell, wenn man die,

wie der Jochen gesagt hat, da gibt es ja auch inzwischen

das Tooling dafür, dass man die dann feintunt

auf bestimmte Sachen und wenn man

so ein getuntes Modell hat, was halt Python

besonders gut beherrscht oder Go oder

Rust oder was auch immer,

dann sind die Ergebnisse da ganz beeindruckend

gut und das ist,

äh, erstaunlich. Aber es ist auch

so ein bisschen schön, dass da sich die

Open-Source-Community so zusammengekommen,

aus dem, aus dem unwahrscheinlichsten

Ort auf der Welt von Facebook

kam so ein

Modell und jetzt ist hier so die

Open-Source-Welt gezündet und auf einmal

gibt's, gibt's eine Million verschiedene Varianten

davon. Also, die haben,

die haben jetzt alle so Lama-Namen, ja, Lama

und Alpaka und Vicuña und

was weiß ich nicht noch alles.

Hier ist der Lama,

der ist der Lama, entweder Lama, Lama, Lama,

Lama, Lama, Lama, Lama, Lama, Dark.

Genau, also das, äh, das ist so ein bisschen

der andere Bereich, ja, das ist nicht das, was

OpenAI macht, JetGPT macht, sondern,

sondern Lama ist so ein bisschen die,

die andere Richtung, die Basler und die,

die Heimwerker.

Wo ich mir relativ sicher bin, weil

OpenAI ist ja eigentlich auch eine relativ kleine

Firma und gerade auf der, es waren ja

relativ lange einfach nur Forscher, weil die ja

tatsächlich, glaube ich, eine Zeit lang daran

geglaubt haben, dass sie jetzt eigentlich ein OpenLab

sind.

Die Milliarden Dollar zerrechnen

und irgendwie für den vor den Augen getanzt sind.

Ähm, aber tatsächlich

ist, glaube ich, die OpenSource-Szene

schon viel, viel weiter in dem,

was jetzt, äh, zum Beispiel

AI-Chains oder

LLM-Chains, was ich jetzt

gleich auch vielleicht mal erklären kann.

Äh, was jetzt alles um

Applikationen, um diese Modelle

drumherum zu bauen ist, ist, glaube ich,

einfach OpenSource, einfach, die sind

so einfach zu bauen, weil es ja im Endeffekt immer

ein paar, paar Sätze sind, die man schreibt

ähm, dass sie

den, dass die

OpenAI einfach komplett überrennen

in dem Sinne, wie

wie clever jetzt diese

Chatbots zum Beispiel drumherum sind und so.

Das merkt man bei ChatGPT

zum Beispiel relativ gut.

Diese Modelle haben ja nur eine gewisse

Anzahl an Wörtern, die sie berücksichtigen

können. Also so nach, nach

2000, 3000 Wörtern meistens

ist halt Schluss. Viel mehr können sie

jetzt nicht wissen, sozusagen

in einem Rutsch. Das heißt

bei so einer langen Chat-Historie

gibt's halt immer Mechanismen,

wo du sagst, naja, die Frage ist halt,

geht's jetzt gerade darum, deswegen

werde ich mal vielleicht von vor drei Nachrichten

irgendwie nochmal ein bisschen was dazu streuen.

Und das geht halt eine Zeit lang