Danke :). Mal sehen ob auch irgendwann noch ein Schabrackentapir im Modellzoo auftaucht.

Hallo Dirk,

danke für deinen super Kommentar 😄. Jetzt kommt die Kommentarfunktion hier doch an ihre Grenzen, denn ich würde jetzt gerne die Absätze zitieren. Nun denn.

[Absatz zum offenen Brief]

Mein Hot-Take zum Thema "Pause Giant AI Experiments" wäre eher: "Diese ganze AI-Panik riecht etwas streng nach Marketing". Warum ist das gutes Marketing? Es verleiht den Produkten eine magisch / mythische Aura, nimmt gleichzeitig die Hersteller aus der Verantwortung und senkt dadurch die Kosten. Bei unsicheren Betriebssystem hat das ja schonmal hervorragend funktioniert: Nicht der Hersteller ist schuld, sondern Computer sind so magisch, dass ein Typ mit einem Ghostbusters-Mobil (McAfee) rumfahren und sie entspuken muss. Winwin für alle ausser den Konsumenten / der Gesellschaft insgesamt.

[Absatz zum Thema Vermögensverteilung]

Also es gibt sicher Gründe pessimistisch zu sein, aber ich bin da grundsätzlich optimistisch. Für große, gut angepasste Konzerne ist es eher gut, wenn sich nicht viel ändert (Skaleneffekte bei wenig Druck sich anzupassen). Eine sich schnell ändernde Welt ist eher besser für die Kleinen. Seit einiger Zeit geht die durchschnittliche Verweildauer von Unternehmen in Aktienindices nach unten, d.h. auch da sieht es eher nach mehr Änderung aus. Vielleicht ist diese beschleunigte Änderung auch überhaupt erst dafür verantwortlich, dass es all diese neuen Tech-Milliadäre überhaupt gibt. Wäre es besser, wenn stattdessen IBM oder Siemens/Nixdorf dominant geblieben wären? Und soo lange sind die ja alle noch nicht dabei. Google hat man zuletzt öffentlich arg schwitzen gesehen und bei Elon Musk bin ich mir auch nicht so sicher, wie sich dieses Spektakel nachhaltig aufrecht erhalten lässt (bittebitte sofort Linkedin kaufen).

[Absatz zum Thema "black box"-Modelle]

Klar, es gibt es auch jetzt schon erfolgreiche black box Modelle. Wahrscheinlich hat es Vorteile, Modelle verwenden zu können, die nicht dadurch beschränkt sind, dass man sie als Formel auf eine Tafel schreiben, in ein Buch drucken oder innerhalb der Lebenszeit eines Menschen verstehen kann (ist Occam's Razor stumpf?). Wie gross der Vorteil sein wird, ist aber noch nicht klar.

Hallo Josef,

danke für den Kommentar und den Link - da ist echt auch noch einiges dabei, das ich noch nicht kannte. Denke wir sind da noch ganz am Anfang, was die praktische Verwertbarkeit angeht, aber es sieht alles schon echt vielversprechend aus. Mit der OpenAI-API habe ich jetzt auch angefangen herumzuspielen, aber ja das braucht alles noch ein bisschen Zeit.

Hier noch ein Video (ok, wahrscheinlich kannte das auch schon jeder ausser mir), was das Potential dieser Geschichte noch mal verdeutlicht:
https://youtu.be/qbIk7-JPB2c

Vielleicht auch ganz interessant - Manuel hat vor ein paar Tagen einen Stream veröffentlicht, wo viele seiner Tools vorkommen:
https://www.twitch.tv/videos/1789273992

> Bei der OpenAI API blicke ich noch nicht ganz durch, das muss ich wohl einfach mal ausprobieren.

Die einfachste Art, das zu benutzen habe ich bisher bei Simon Willison gesehen: https://til.simonwillison.net/gpt3/chatgpt-api

"
Now I can do the following:

>>> simon = ChatBot("You are a chatbot imitating Simon Willison. Pretend to be Simon.")
>>> simon("Tell me about yourself")
"

> Die erste Folge, die ich bis zum "Gute Nacht" gehört habe :D

Ging nicht nur dir so, diese Episode hatte eine ungewöhnlich hohe
Durchhörquote 😊.

> Das Thema treibt uns alle um und wird uns wahrscheinlich noch lange begleiten. Viele tolle Sachen wurden gesagt. Dass unsere Gedanken auch auf stochastische Prozesse beruhen (Johannes?). Dass

Ja, wobei natürlich niemand weiß, was Gedanken "eigentlich" sind. Menschen bestehen vielleicht nur aus einem Haufen Atome oder sind ein stochastischer Prozess - aber das zu sagen hilft nicht dabei zu verstehen,was an Menschen interessant ist, weil die Vereinfachung zu grob ist. Und es ist zwar im Prinzip richtig zu sagen, dass LLMs nur ein Haufen Matrizenmultiplikationen in einem Trenchcoat sind - aber das hilft halt ebensowenig 😄.

> Unternehmen ja eigentlich selbst so eine Art AI sind (Jochen im reply). Dass wir mitten in einer Zeitenwende sind, die mindestens so groß ist wie Gutenbergs Erfindung des Buchdrucks.

Wenn man da jetzt noch Internet und Computer mit reinnimmt, würde ich zustimmen. Aber vielleicht kommen da in den nächsten Jahrzehnten auch noch ein paar andere Begriffe dazu, die wir jetzt noch gar nicht kennen, die im Rückblick aber zu der gleichen Zeitenwende gehören.

> Weil mich das Thema ebenfalls umtreibt, wollte ich noch einiges los werden, was ich gerade wichtig finde - im Podcast-Gespräch ging es ja einige Zeit darum, wie die LLMs trainiert werden, dass das zeitaufwändig und nicht immer ethisch toll ist (finanzielle Ausbeutung zB).

Meinst du die ursprünglichen Autoren der Texte auf denen trainiert wird, oder diesen times-Artikel mit den Clickarbeitern in Kenia?

> Wie denkt Ihr über eine AI-Instanz, die von einem selbst "trainiert" werden kann (ein bisschen wie Eltern/Kind). Natürlich würde das auch die Möglichkeit zum Abuse öffnen, aber wer das will, macht es sowieso.

Ja, das geht auf unterschiedliche Arten:

- Zero-Shot: Man schreibt in das Prompt, was das LLM tun soll
- Few-Shot: Man gibt ein paar Beispiele im Kontext mit (übersetzte Sätze etc) und sagt dann: Übersetze mal im gleichen Stil...
- Finetuning: Man hat ein paar tausend gelabeledte Beispiel und tauscht den Model-Head aus bzw. trainiert den head neu - aber dafür muss man das Model natürlich erst mal haben...

Bah, muss meine Antwort wieder aufsplitten..

> Das wirft mMn auch ein Licht darauf, wie derzeit trainiert wird, nämlich mit Masse, während ja Kinder ziemlich eindeutig den Input gewichten (was die Eltern sagen, hat eine Zeitlang mehr Gewicht als was die anderen sagen, und dann wird das Modell auf den Kopf gestellt und am Ende kommt eine Approximation der Wirklichkeit raus).

Die Masse ist aber nötig. Menschen kommen mit deutlich weniger Trainingsdaten (mindestens 3 Größenordnungen) aus. Bisher weiß keiner, warum das so ist. Vielleicht liegt es daran, dass es bessere Verfahren als Backpropagation gibt, vielleicht daran, dass da irgendwie schon 4.5 Milliarden Jahre pre-training drinstecken, vielleicht macht das Gehirn semisupervised learning auf Video (ist das Sinnesorgan, das am meisten Daten produziert). Ich meine auch, dass Textgewichtung einer der vielen vielen Präprocessing-Schritte ist, die die Daten durchlaufen, bevor sie beim LLM-Training verwendet werden.

> Was mich auch zu dem Thema "Gewichtung" wundert: Könnte ein LLM auch so trainiert werden, dass bestimmte Redewendungen, Zitate etc. höher gewichtet werden als eben "normale" Sätze. Ich meine es werden schon LLMs mit Kant etc. "trainiert", also sie werden zu "Kantianern" oder was auch immer gemacht. Ginge das auch indem ein Trainer bestimmte Sätze/Bücher etc. hervorhebt?

Ja, aber für meine Zwecke reicht es meist, das einfach mit ins Prompt zu schreiben. Habe GPT-4 mal gebeten, den obigen Absatz mal im Stil von Kant zu verfassen:

Die Frage, die sich mir in Bezug auf das Gewichtungsproblem darlegt, ist folgende: Vermöchte ein LLM so instruiert zu werden, dass ausgewählte Redensarten, Zitate und dergleichen eine erhabenere Bedeutung erlangen als die gewöhnlichen Sätze? Man weiß, dass LLMs anhand von Kants Schriften und anderen Philosophen geschult werden, um sie gleichsam zu "Kantianern" oder ähnlichen Denkern heranzubilden. Ließe sich jedoch auf gleiche Weise erwägen, dass ein solcher Pädagoge spezifische Passagen oder literarische Werke gezielt hervorhebt?

Oder auch: Könntest du folgenden Absatz bitte in Form bekannter Redewendungen und Zitate umformulieren?

Ein schlauer Kopf fragt sich, ob man nicht ein Pferd andersherum aufzäumen könnte, wenn es darum geht, wie "große Sprachmodelle" (LLMs) trainiert werden. Ist es möglich, dass das Salz in der Suppe – Redewendungen, Zitate und dergleichen – mehr Gewicht erhält als der alltägliche Wortbrei? Schließlich haben wir schon gesehen, wie man LLMs auf den Pfad der Weisen, wie Kant und andere, führen kann. Könnte es also sein, dass ein sprichwörtlicher Fingerzeig genügt, um diese Modelle in die gewünschte Richtung zu lenken?

Ok, auf deutsch ist das alles nicht so richtig toll, aber auf englisch funktioniert das für meine Anwendungsfälle oft gut genug.

> Es gab auch im Gespräch diese Frage ob die AI etwas Neues produzieren kann, also kreativ/originell. Die Frage blieb glaube ich offen, aber mir fiel dazu ein, dass in der Geschichte ja viele Erfindungen, die später bahnbrechend oder epochebestimmend waren, von den Zeitgenossen erst mal garnicht in ihrer Bedeutung wahrgenommen wurden. Was ist das also, neu/originell/kreativ?

Gute Frage - da habe ich auch keine Antwort 😃.

> Gegen Ende hatte ich den Eindruck, dass Ihr Euch gerade fragt, wie lange dieser Podcast noch aktuell ist. Das ist auf jeden Fall eine der spannendsten Zeiten zu leben finde ich. Wir werden unsere eigenen Möglichkeiten noch einmal potenzieren, so wie das ja schon der Computer und dann das Internet gemacht haben. Und wir werden Wandel in einer Geschwindigkeit erleben wie wir das so noch nicht erlebt haben, wobei ich den Wandel der letzten 30 Jahre schon sehr "schnell" fand. Ich hoffe, dass Ihr die Zeit findet, das weiterhin mit solchen Podcasts zu begleiten.

Ja, es bleibt auf jeden Fall spannend. Vielen Dank für deinen Kommentar 😄.

Hallo Norbert,

ähja - glaube, über ethische Bedenken haben wir tatsächlich gar nicht gesprochen. Kann mich jedenfalls auch nicht daran erinnern. Das wird GPT-4 doch wohl nicht einfach so herbei halluziniert haben? Da hätte ich schon arge ethische Bedenken 😉.

Ups, das mit den Kommentaren war mir gar nicht aufgefallen, aber du hast Recht: die alten Kommentare sind noch da, aber die Zuordnung zu den Episoden ist bei irgendeiner Migration verloren gegangen. Versuche das gleich mal zu fixen. Vielen Dank für den Hinweis!

Beste Grüße zurück
Jochen