Ein KI-Experte erklärt DeepSeek und den Hype darum

**Joel Kaczmarek: **Hallo Leute, heute tauchen wir mal wieder in die Welt der KI ab, denn ihr habt ja sicherlich mitbekommen, dass es da ein spannendes Tool aus Asien mit dem schönen Namen DeepSeek gibt, was die ganze Welt gerade in Aufruhr versetzt. Also riesige Effekte an der Börse, viele Fragen, was das denn nun eigentlich für den Markt bedeutet. und ich habe einen Dude, den ich immer anrufe, wenn ich in Sachen KI etwas wissen möchte und das ist mein lieber Freund, der gute Hamid Hossein. Hamid hat mit Eco Dynamics nämlich eine KI-Beratung und macht auch ganz viele Produkte in dem Bereich. Zum Beispiel kann er dir auch dabei helfen, wie dein Unternehmen besser gefunden wird von KIs. Also sprich ihn unbedingt mal an, wenn du sowas brauchst oder auch Agents oder, oder, oder. Also Hamid ist wirklich eine Wundertüte an Wissen in Sachen KI. War am MIT, bei Y Combinator, kennt OpenAI sehr, sehr gut. Und ich habe mir gedacht, okay, wen sollte ich fragen, wenn nicht Hamid, was es denn mit diesem DeepSeek auf sich hat und was das eigentlich bedeutet. Und nett wie er ist, ist er auch meiner Einladung gefolgt. Von daher, lieber Hamid, schön, dass du da bist. Hallo.

Hamid Hosseini: Hallo Joel, vielen Dank für die Einladung. Ich freue mich schon auf unser Gespräch.

Joel Kaczmarek: Ja, dann erzähl doch erstmal ganz kurz für uns geneigte Laien da, für uns Normalsterbliche, was hat es denn mit diesem Diebsieg eigentlich genau auf sich?

Hamid Hosseini: Nun, also wie die anderen Sprachmodelle oder KI-Modelle ist die Psyk auch schon länger, also schon seit ein paar Jahren haben sie daran gearbeitet. Es ist schon ein Modell, das in der Grundversion V3 und im Reasoning-Modell R1 schon erstaunliche Ergebnisse gezeigt hat und quasi seit Dezember so ein bisschen die Nerds und die Community in Atem gehalten hat. Und seit es dann das Reasoning-Modell rauskam, auf einmal so ein bisschen die Regeln in der KI-Welt durcheinandergewirbelt hat. Und es ist quasi ein chinesisches Modell. und anhand der Performance-Ergebnisse, was man da sieht, lässt sich durchaus auch schon mit den OpenAI-Modellen, zum Beispiel das Reasoning-Modell, schon vergleichen.

Joel Kaczmarek: Um unsere Leinen alle mitzunehmen, was ist ein Reasoning-Modell?

Hamid Hosseini: Naja, Reasoning ist, ich sage mal vorsichtig ausgedrückt, sind so Denkvorgänge. Das kennt man vom Prompt-Engineering, wenn man zum Beispiel Chain of Thoughts verwendet, also wo man einzelne Prompts oder einzelne Schritte in Teilschritten aufsetzt. Das ist relativ ähnlich, dass zum Beispiel die Modelle in der Lage sind, anhand der Befehle oder Prompts, die man dort eingibt, quasi daraus abzugeben, nochmal entsprechende Interpretationen abzuleiten, die Ergebnisse zu generieren, diese Ergebnisse wiederzuverwenden und daraus nochmal Iterationen durchzuführen. Das heißt, das ist eigentlich das, was wir in der Regel beim Prompt Engine selber durchführen und mit dem Modell durch Interaktion ausführen, ist Reasoning so, dass es versucht, ein Stück weit elementare Denkschritte rauszuführen. quasi nachzubilden. Also zum einen das bestehende Ergebnis erneut zu verwenden und daraus wieder Ableitungen zu machen oder einfach Dinge in einzelnen Schritten auszuführen, weil da gibt es ja immer so Einschränkungen mit Ausgabe und Tokenfenster. Also das kennt man ja auch eigentlich, wenn man schon länger mit den KI-Modellen gearbeitet hat. Und deshalb, das ist auch teilweise so, dass diese Reasoning- oder Denkvorgänge auch durchaus auch bei den größeren Modellen für komplexe Vorgänge, Berechnungen und so weiter eingesetzt werden.

Joel Kaczmarek: Okay, so jetzt fühlt es sich ja für den Normalsterblichen an, als wenn dieses Diebsieg so wie Phönix aus der Asche auferstanden ist. Keiner hat es irgendwie kommen sehen. Hoppala, was ist denn da? Also hattest du das schon so eine Weile auf dem Schirm?

Hamid Hosseini: Etwas, also ich habe schon Mitte des Jahres ein bisschen was davon gehört, aber das habe ich nicht so erstmal ehrlich gesagt nicht so ernst genommen, weil bis dato waren ja die Modelle, die aus Asien kamen, jetzt nicht so, dass man sagen kann, die halten mit den US-Modellen mit. Ehrlich gesagt habe ich nichts kommen sehen. Also als ich im Dezember das erste Mal das V3-Modell benutzt habe, dachte ich so, wow. Und dann als das Reasoning-Modell kam, wow. Das war schon wirklich echt ein Aha-Moment.

Joel Kaczmarek: Ist denn an DeepSeek irgendetwas passiert? Anders als bei OpenAI? Also funktioniert das in der Grundsache irgendwie unterschiedlich? Weil was ich so gelesen habe, scheint es ja so zu sein, dass man eine ganz andere Methodik verwendet, die zwar länger braucht. zum Anfahren, sage ich mal, bis das Modell auf einer Flughöhe ist, die gut ist, das dann aber viel mehr Ressourcen spart und nach hinten raus viel besser zu sein scheint. Habe ich das richtig vermutet oder gelesen? Ja.

Hamid Hosseini: Ich empfehle den Zuhörern, das Research-Papier zu lesen. Es ist ein Stück weit schon spannend. Es wird viel vermutet, man geht davon aus, dass es möglicherweise ein Open-Source-Modell, gegebenenfalls auch LAMA verwendet wurde, um das Modell quasi mit einer API, mit OpenAI-Daten zu trainieren und auch zu trainieren. Was destillieren ist, werde ich gleich erklären. Aber es ist eigentlich an sich nicht so sehr anders, aufgrund dessen, dass das Modell ja sehr, also den Anschein nach, mit Informationen, Parametern und Daten von OpenAI trainiert wurde. Und es war auch ziemlich lustig, weil vor vier, fünf Tagen, als man, DeepSeq R1 benutzt hat, als es gerade rauskam und hat dann gefragt, naja, worauf basiert dein Grundmodell? Er hat gesagt, GPT-4. Ich bin ein Modell von OpenAI. Einen Tag später hieß es dann, naja, ich bin auf so ein ähnliches Modell wie GPT-4 aufgebaut. Und dann so gestern, vorgestern hieß es dann, nee, ich bin die Psyk, ich bin eigentlich von einem ganz anderen Unternehmen. Und wenn man zum Beispiel die API nutzt, da gab es auch einen schönen LinkedIn-Post, ich glaube heute oder gestern, da hat man auch gesehen, das hat mir mein Kollege Henne zur Verfügung gestellt, da hat man auch gesehen, dass das sogar die API-Nutzung relativ ähnlich ist. Aber es ist schon so, dass es eigentlich fast schon sehr viel an OpenAI erinnert. Dennoch muss man dazu sagen, an manchen Stellen ist es auch besser. Und die haben auch, wenn man das Papier liest, stellt man fest, also nicht schlecht. Also teilweise die Methoden, Verfahren, Algorithmen, die sie da implementiert haben, das ist schon eigentlich sogar ein Geschenk an die KI-Welt, weil manche Dinge, die die da gemacht haben, sind durchaus anders.

Joel Kaczmarek: Also heißt das so, dass wir im Prinzip auch geklaut haben bei OpenAI, wenn du sagst, die haben die im Prinzip angezapft und Daten von dort genommen? Ist es sozusagen legitim, das so zu tun?

Hamid Hosseini: Naja, also was heißt Clown? Ich möchte auf keinen Fall jetzt die Behauptung hier in den Raum stellen, dass irgendwelche Source Codes oder sowas geflossen ist. Da sollen sich andere drum kümmern. Was aber de facto möglich ist, ist ja schon, dass man durch sogenannte Application Programming Interface, das sind diese API-Schnittstellen, im Grunde genommen mit diesen Modellen interagiert. Und dann kann man den Prompt schicken, Aufgaben schicken und unterschiedliche Aufgaben stellen. Zum Beispiel, ich könnte jetzt einfach durch den Alphabet gehen. So nach dem Motto, erklär mir alles dein Wissen, was mit dem Buchstaben A beginnt. Oder überall, wo du mathematisch regeln kannst. Oder was du über Physik gelernt hast. Und dann kann ich das so lange laufen lassen, bis ich halt alle Informationen rausbekomme. Und anhand der Interaktionen kann ich ein neues Modell trainieren. Und das ist, weiß ich nicht, ob man das als Clown bezeichnen kann, aber man kann zumindest sehr viel Information abzapfen. Und neben den Algorithmen und Regeln, was sie durchaus sehr spannend aufgesetzt haben, kommt jetzt das Destillationsverfahren noch dazu. Destillieren kann ich relativ einfach erklären. Das ist eigentlich nichts anderes. Stell dir vor, Joel, du bist jetzt mein Lehrer. Und ich bin ein Schüler. So, jetzt hast du jede Menge Erfahrung und Wissen. Und jetzt musst du das quasi in meinem Kopf pressen irgendwie. Das heißt, du musst jetzt mir einfach viele Dinge erklären, damit ich dein Wissen auch lerne. So, dass quasi im Grunde genommen wird durch die Destillation, Informationen, die möglicherweise nicht wichtig sind, weil du ja studiert hast als Lehrer, sehr viele zusätzliche Informationen gelernt hast. Die sind aber erstmal für mich irrelevant. Aber damit ich halt mich entwickle, bringst du mir das Wichtigste bei. Und das Wichtigste ist quasi auch das, worauf es ankommt, wenn die Modelle aktiv werden. Und dadurch braucht man weniger Kapazitäten, weniger Ressourcen. Und durch diese Destillationsverfahren müssen auch die Modelle teilweise auch nicht so groß sein. Und das haben die schon auch hier anscheinend angewandt.

Joel Kaczmarek: Und wo ist jetzt ein DeepSeq anders als ein OpenAI, wenn du sagst, es gibt schon auch kleinere Unterschiede?

Hamid Hosseini: Also zum einen, was super spannend ist, ist halt dieser Chain-of-Sort-Ansatz, den sie verwendet haben, um zum Beispiel dem Modell die Denkschritte zu erklären. Das heißt also, normalerweise, wenn wir Chain-of-Sort als User verwenden, dann erklären wir die Schritte oder die einzelnen Ansätze. Aufgaben und das Modell muss sie dann einzeln abarbeiten und so weiter. Und jetzt passiert es interessanterweise im Rahmen des Trainings, haben wir das auch eingesetzt, um mit dem Modell quasi ein Stück weit selbstkritisch mit den Antworten umzugehen oder im Vorfeld zu überlegen, bevor ich eine Antwort generiere, worauf es ankommt, was sagt meine Policy, also die Regeln. Sind die Inhalte gut oder schlecht? und so weiter. Und dann generiere ich diese Antwort. Das sieht man ja, wenn man DeepSeq benutzt, dass du sagst, oh, der User fragt zum Beispiel nach folgendem. Am besten mache ich das. Und bevor ich das tue, mache ich das nächste. Aber ich muss natürlich aufpassen, dass ich meine Regeln irgendwie beachte und, und, und. Und das Zweite, was hier super spannend ist, ist tatsächlich, dass Dieses Reinforcement-Ansatz, den die hier angewandt haben, das ist super spannend, nämlich im Grunde genommen bei diesem Reinforcement-Learning oder auch bei diesem neuen Algorithm, den die da auch eingesetzt haben, ist es halt so, dass im Grunde genommen, sagen wir mal, bestehendes Wissen und bestehende Regeln mit den neuen Regeln abgeglichen werden. Das heißt, man guckt, wie oft macht das Modell Fehler, das Modell versucht sich selbst zu verbessern, um möglichst auch diese Fehlertoleranz zu minimieren beim Training. Und last but not least, also diese Group Relative Optimization, bzw. Group Relative Policy Optimization, steht auch in dem Paper, super spannend, wird jetzt ein bisschen nerdy, einfach erklärt, was macht dieser Algorithmus, wie gesagt, versucht, alte Regeln mit neuen Regeln abzugleichen, aus den alten Regeln quasi nur das Wichtigste zu übernehmen, was das Modell effizienter macht. Und dadurch kann ich natürlich auch die Regeln nur noch auf das, was ich wirklich brauche, nämlich auf die Anwendungsfälle, ohne dass halt diese Vortraining, was vorher stattgefunden hat, einfach gezielt einsetzen. Und Last but not least natürlich Modellverkleinerung durch die Destillation, als ich ja vorhin erklärt, das heißt all die Parameter, die unnötig sind, weil man, ich gebe ja mal ein Beispiel, wenn ich jetzt sage, Landeshauptstadt in NRW ist Düsseldorf. Düsseldorf ist eine schöne Stadt, was in NRW ist und ist auch Landeshauptstadt. Da habe ich ja verschiedene Sätze, in denen ich eigentlich die gleiche Aussage treffe. Jetzt kann ich natürlich aus diesen 100 Sätzen einen Satz bilden, was alle Informationen beinhaltet. Und das ist auch sowas ähnlich wie eine Destillation, dass ich halt nur wirklich das Notwendigste lerne. Also wie gesagt, wie unsere Lehrer-Schüler-Beispiel.

Joel Kaczmarek: Würdest du denn sagen, dass einer dem anderen voraus ist? Also gibt es irgendwie jemanden, der die Nase vorn hat oder ist man da relativ pari?

Hamid Hosseini: Naja, die Ergebnisse, die Benchmarks zeigen oder auch die, eigentlich nennen wir es ja in unserer KI-Welt Evaluation oder so abgekürzt Evolves. zeigen schon, dass in vielerlei Bereichen, in Mathematik und viele Aufgaben, da gibt es ja immer so Sets, wie man diese Evaluationen durchführt. Da gibt es immer so Prompt-Sets, die man an diese Modelle schickt und guckt, wie die Modelle antworten und immer wieder auch das wiederholt, damit dann eine gewisse Heuristik da ist. Und tatsächlich hat das Modell, zum Beispiel das O1-Modell, in einigen Bereichen sogar übertroffen. Und wenn man sich das überlegt, dass das innerhalb dieser kürzesten Zeit, über die Kosten streiten sich ja die Experten derzeit. Ich glaube auch nicht, dass sie das mit 5, 6 Millionen Euro oder Dollar trainiert haben. Wenn man sich die Benchmark anguckt, dann sieht man schon, dass es schon echt teilweise auch O1 outperformt. Und jetzt kommt lieber Joel dazu, dass es auch noch Open Source ist. Also das heißt, das ist etwas, was OpenAI immer so geschützt hat. Das steht zur freien Verfügung, wenn man in Hagingfels, das ist so eine KI- und Data-Science-Community, da sieht man mittlerweile, dass die Leute anfangen, schon daraus neue Modelle abzuleiten, Feintuning oder neue angepasste Sachen zu machen. Also das ist schon sehr interessant.

Joel Kaczmarek: Was steckt denn eigentlich hinter DeepSeek für ein Unternehmen? Also wer macht das? Man darf ja bei chinesischen Unternehmen gefühlt immer davon ausgehen, dass der Staatskonzern mit hinterhängt oder der Staat. Daten sind dann wieder so ein sensibles Thema. Wer macht denn das eigentlich?

Hamid Hosseini: Also ja, das ist eine sehr gute Frage. In der Regel also darauf. wage ich jetzt nicht diese Frage fallabschließend zu beantworten, weil häufig ist ja das Wirtschaftssystem in China ja so, dass es da meistens Public Private Joint Ventureships stattfinden und man sich auch die großen Plattformen anguckt und so weiter. Also das ist schon recht komplex, aber dennoch ist es so, dass wir hier, das wird ja erzählt, das sind ja Hedgefondsmanager und so weiter. Also da gibt es tatsächlich auch Interessen, nämlich hier, man sagt halt, dass die Hedgefondsmanager, also was ich so recherchiert habe, dass sie möglicherweise einfach aufgrund dessen, dass sie sehr gute Mathematikerinnen an Bord haben, angefangen haben, als Idee dieses Projekt zu machen. Und es war auch nicht Zeitprojekt, sondern es war ein schon ernstes, richtiges Projekt, was sie da eingegangen sind. Und auf der einen Seite, wenn man sich das Paper durchliest, da sind so jede Menge Namen, Also ich habe einige aus Spaß mal so stichprobenmäßig recherchiert. Und das war schon spannend. Das waren unter anderem Top-Mathematikerinnen darunter, die wirklich krasse Postulationen erstellt haben. Also Postulate sind ja so auch teilweise Beweise und, und, und, und, und. Und wo ich gedacht habe, so wow, okay, auf dem Niveau haben da Leute gearbeitet. Aber tatsächlich ist der Kopf dahinter, so was ich bisher erfahren habe, der Wang Feng. Das ist ein Visionär, der das ganze Thema vorangetrieben hat. Der ist 1985 in Sanjiang in Guangdong aufgewachsen, hat ein Bachelor in Electric Engineering und Information Communication Engineering gemacht von Zhejiang University. Und hat dann halt relativ schnell auch angefangen, in diesem Umfeld sich auch auszutoben. Und ich denke, mit den Namen, die wir genannt haben, die können wir auch dann in dem Transkript zur Verfügung stellen. Da nach und nach auch können die Menschen auch selbst nochmal die Details forschen. Und wie gesagt, der halt als Visionär irgendwann angefangen hat, in diesem Unternehmen-Umfeld quasi das Ganze voranzubringen.

Joel Kaczmarek: Crazy. Und wenn man jetzt da irgendwie mal feststellt, was du eben beschrieben hast, dass dieser frühe Aufschlag schon deutlich besser ist als manches, was OpenAI macht, darf man davon ausgehen, dass das auch jetzt nochmal im Verhältnis sich weiterentwickelt? Also werden die jetzt signifikant besser als so ein OpenAI sein. oder ist das so wie bei so einem Brummis auf der Autobahn, so ein Rennen, wo jeder mal kurz die Nase vormacht und dann gleich zieht es wieder aus?

Hamid Hosseini: Naja, also ich sage mal jetzt bei O1-Modell, dann zeigen die E-Volts, dass es besser ist. Das Problem mit den Evaluationen ist nämlich, dass es ja immer in einem sehr definierten Rahmen diese Tests durchgeführt werden. Fakt ist, das Modell hat an einigen Bereichen es besser. Auf der anderen Seite muss man sicherlich mal gucken, wie ist das wirklich in der alltäglichen Praxis. Also ich habe das jetzt immer wieder mal getestet und habe gesehen, wow, an manchen Stellen ist es wirklich gut. Bei manchen Sachen, die ich zum Beispiel von Anthropic, OpenAI oder auch den anderen Modellen kenne, habe ich halt festgestellt, naja, das ist halt noch nicht so, da hakt es ein bisschen. Zum Beispiel bei V3 habe ich Sprachprobleme gesehen, bei R1 habe ich halt festgestellt, wenn ich da die komplexen Probleme, ich habe einfach mal Prompt Challenge gemacht, O1, mathematisch komplexe Fragen gestellt, dann DeepSeek, habe gesehen, okay, da gibt es doch ein bisschen Unterschied aus der Praxis, oder halt Prozessentwicklung, Organisationsentwicklung, da habe ich halt gesehen, dass DeepSeek dort etwas hakt. So, jetzt aber, wenn wir uns mal OpenAI jetzt als Business-Modell vergleichen mit DeepSeq, kannst du dir ja vorstellen, das ist ja schon durch die Kooperation mit Microsoft, durch dieses Ökosystem, was drumherum entstanden ist, ähnlich wie bei Lama oder auch Anthropic, es ist ja so, dass er ja nicht nur ein Sprachmodell oder ein KI-Modell ist, sondern drumherum hat sich ja auch schon ein Netzwerk gebildet. Du kennst dich ja bestens mit Netzwerkeffekten und Plattformen auch aus, ne? Insofern weiß es ja selbst, wie mächtig dann Plattform sein kann, weil man sagt ja auch in der Plattformökonomie, Plattform always beat products. Das heißt, ein Ökosystem kann so stark sein, dass es möglicherweise noch nicht mal darauf ankommt, dass die Features gut sind. Eigentlich muss man bei KI sagen, dadurch, dass die Modelle ja immer gezielt und punktuell eingesetzt werden, ist die Frage halt eine Frage, die in Zukunft entschieden wird, ob spezielle und allgemeine Fälle durch ein Ökosystem und Netzwerk besser vorankommen oder durch einzelne singuläre Anwendungsfälle.

Joel Kaczmarek: Ja, ich überlege gerade, was heißt das denn auch für die bestehenden Player? Also es rauschte ja erstmal fleißig an der Börse, also Microsoft-Aktien natürlich runter, weil man vermutlich als Anleger dachte, okay, das wird sich jetzt negativ auf das OpenAI-Geschäftsmodell auswirken und Microsoft als großer Shareholder ist da betroffen. Aber auch Nvidia ist ja zum Beispiel sehr stark runtergegangen, die ja Chips herstellen, wo man halt irgendwie auf die Wette ging, dass die KI-Zeiten oder der KI-Fokus halt einfach großen Absatz mit sich bringen wird. Was sind denn so die Folgen, die sich für den Markt dann einstellen?

Hamid Hosseini: Also das ist ja eine gefährliche Frage. Das kennst du ja schon an Investment-Empfehlungen. Also vielleicht der Disclaimer, bitte kauf nicht irgendwas oder verkauf nicht. Das ist keine Investment-Geschichte, sondern wir übertrachten das ja an der Stelle jetzt fachlich. Faktisch gesehen, Joel, hast du super schön gefragt. Nämlich im Grunde genommen ist es ja so, dass Meine Beobachtung ist, die Kapitalmärkte sind entkoppelt von der Realität teilweise. Ist ja auch okay, weil die einfach aufgrund der Psychologie einfach irgendwas machen. Egal, ob die jetzt sagen, okay, das geht zugrunde und wir verkaufen oder setzen auf Puts oder machen auf Calls oder was auch immer. Also im Grunde genommen, ich denke, dass das eine nervöse Reaktion war, weil man sofort gedacht hat, okay, Diese Lancieren von diesen 5, 6 Millionen Dollar und dann auch mit diesen kleineren Chips und weniger Ressourcen und so weiter, führt halt dazu, oh mein Gott, okay, dann haben wir eine Überkapazität, also brauchen wir die nicht möglicherweise. Alle haben gedacht, okay, müssen wir verkaufen, dann gibt es ja eine Spirale, ne? Ich glaube aber jetzt mal rein fachlich gesehen, dass diese Open-Source-Bewegung, das war eigentlich fast schon ein Geschenk an die Semiconductor-Industrie. Bitte, das ist keine Investmentempfehlung. Also ich denke nur fachlich gesehen, weil je mehr wir jetzt Open-Source-Modelle haben, umso mehr Cloud-Infrastructure und so weiter werden wir auch brauchen oder GPUs. Insofern, ich denke, dass da auch wieder eine gewisse Entspannung folgen wird oder folgen sollte. Naja.

Joel Kaczmarek: Ja, ich habe bei Pip Klöckner irgendwie eine Analyse auf LinkedIn gesehen, dass er so Charts sich angeguckt hat und mal geguckt hat, dass wohl ganz viele Chips von Nvidia nach Singapur gegangen sind. und dann war die Frage, wo gehen sie denn von dort aus hin, dass so die geheime Vermutung war, ob die nicht von Singapur direkt nach China gehen. Also, was du auch gerade mit den 5, 6 Millionen geschrieben hast, das macht es ja so unglaublich. Da sind ja im Vergleich bei OpenAI Milliarden reingeflossen und du brauchst ja da Rechnerkapazitäten, bis der Arzt kommt. Also glaubst du, dass es da einfach so eine gewisse Dunkelziffer gibt, die man nicht sieht? Oder ist dieses Modell wirklich so krass viel effizienter?

Hamid Hosseini: Nein, ich glaube, dass sie durchaus viel mehr investiert haben. Ich lese meistens die Posts von den Kolleginnen, die jetzt auch aus dem Maschinenraum kommen. Zum Beispiel, was ich empfehlen kann, war der LinkedIn-Beitrag von Philipp Schmidt von Hugging Face, der dort wirklich einen coolen Beitrag gebracht hat und erzählt hat, Also der Betrag kann nicht stimmen, die GPU-Ressourcen kann nicht stimmen und hat das ein bisschen relativiert fachlich. Also ich glaube schon, dass es deutlich mehr gekostet hat. Also ich glaube auch, dass es weniger Ressourcen verbraucht hat. Und ich denke schon, was jetzt diese ganze Chip-Bewegung und so weiter betrifft, das grenzt ja schon weiter. An, weiß ich nicht, muss man gucken, wie weit da die Fakten belastbar sind oder eher Gerüchte oder so, aber faktisch gesehen, ich glaube, dass sie mehr Ressourcen gebraucht haben, mehr Geld auch eingesetzt haben. Ich glaube da nicht so ganz da dran. Das ist so ein bisschen, und hinzu kommt, lieber Joel und liebe Zuhörerinnen, das ist natürlich auch das Destillationsverfahren. Guck mal, jetzt nehmen wir wieder unser Lehrer-Schüler-Beispiel. Du bist jetzt Lehrer und hast halt studiert. Guck mal, du hast halt, was weiß ich, fünf, sechs, sieben Jahre lang auf Lärm studiert und und und hast eine Menge Zeug gelernt. Jetzt sitze ich aber vor dir und du willst mir, was weiß ich, Deutsch, Mathe, Erdkunde beibringen. Da bringst du mir nur das bei, obwohl du aber deutlich mehr investiert hast in deinem Studium. Das war so etwas Ähnliches als Beispiel.

Joel Kaczmarek: Wenn du jetzt Sam Altman wärst, also der CEO von OpenAI, was würdest du machen? Was für Gedanken würden dir jetzt gerade durch den Kopf gehen? Wie würdest du auch reagieren? Was wäre so dein Blick auf die Welt?

Hamid Hosseini: Na gut, ich meine, er hat ja selbst sich schon geäußert. Da hat er das Schweigen gebrochen und hat ja schon gesagt, dass er sehr stark davon ausgeht, dass es eine recht Und schöne, ich versuche es mal ein bisschen diplomatisch auszudrücken, Geschichte war, dass sie da eher die Modelle verwendet haben und daraus durch die Destillationsverfahren und auch durch weitere Verfahren das quasi nachgebaut haben. Auf der anderen Seite kann man natürlich auch sagen, naja, also seid doch mal froh, dass die Chinesen Da auch mal ein paar wirklich coole Ansätze in Bezug auf die Training der Modelle entwickelt haben, die euch wiederum helfen können. Also ich kann mir gut vorstellen, dass es jetzt auf jeden Fall ihn unter Druck setzt. Also wenn ich jetzt er wäre, würde ich schon sehr genau überlegen, okay, kann man überhaupt ein Stück weit diese Destillationsverfahren vermeiden? Ist eher, würde ich sagen, nein, es ist fast unmöglich. muss ich die Modelle weiterentwickeln in der Art und Weise, wie ich das bisher gemacht habe. Ich würde sagen, nein, ich würde das eher auch als Geschenk nehmen, diese Optimierung, diese Art und Weise, wie Sie die Modelle trainiert haben. Also insofern, und ich würde auch an seiner Stelle vor allem auch mehr auf das Ökosystem setzen und vor allem auch transparente und ethische Ansätze. Weil, sagen wir mal, wenn man DeepSeek so ein paar Fragen stellt in Bezug auf die geopolitisch regionale Geschichten, dann sagt die Psyche, ich habe keine Ahnung, ich weiß nicht, ich rede nicht mit dir darüber. Also das ist halt auch immer so eine Sache. Und was ich auch nicht weiß, und das wird sich mit der Zeit herausstellen, auch das wäre etwas, wo man sich überlegen kann, ob da nicht eher eine Geschichte ist, die ja den Unternehmen voraus ist, ist halt natürlich Security. Keine Ahnung, ob das Modell nicht nur Bias hat oder irgendwelche auch Security Issues. Das wird sich halt herausstellen.

Joel Kaczmarek: Wenn du jetzt Anwender wärst oder Anwenderin, was würdest du sagen? Sollte man jetzt im großen Stile seine Anwendung umstellen auf kostenlose Nutzung bei DeepSeek oder schieße ich mir da an irgendeiner Stelle in den Fuß? Bist du eher der Verfechter von Ökosystemdenke, OpenAI, gelerntes Modell, westliche Werte, vielleicht auch das ein oder andere Security-Thema, was mehr drin hängt? Also was würdest du als Anwender in Sicht machen?

Hamid Hosseini: Naja, sagen wir mal, Anwenderin, also das eine ist ja, das ist ja schon als Open Source ja. für viele Unternehmen, die das GDPR-Thema, BSI-Grundschutz, also DSGVO und all diese Auflagen haben, ist das natürlich super, weil die können das jetzt einfach in den Rechenzentren betreiben, wunderbar. Ich würde generell einfach fallweise vorgehen und das ist jetzt wirklich neutral und unparteiisch, obwohl man ja weiß, dass ich sehr viel mit Open-Air-Kram mache, aber faktisch gesehen würde ich wirklich den Kunden, Kundinnen empfehlen, einfach mal fallweise zu gucken, performt das Modell für die Aufgabe gut? Ich würde es vorher testen, evaluieren, wenn die Evaluation und Test gut sind und positiv antworten. Why not? Dann halt einfach das Sync erstmal in einem geschlossenen Bereich quasi im RZ oder lokal hosten und dann würde ich auf jeden Fall wegen Security nochmal das Sync beobachten und dann durchaus operativ einsetzen. Ökosystem würde ich dann machen, wenn ich natürlich davon partizipieren kann, dass das bereits so viele Services drumherum gibt, wie bei Anthropic Open AI Lama. Und wenn ich sage, okay, ich muss gewisse Sachen nicht mehr selber machen, sondern greife halt einfach auf diese App-Stores und so weiter. Und da kennst du dich ja genauso gut aus mit den Plattform-Ansätzen, nämlich Was ist eine API? API ist ja nichts anderes als eine Programmier-Schnittstelle. Das ist auch nicht so für Nerds oder Programmierer oder Techies. Nein, nein, im Gegenteil. Wir nennen das ja inverse Strategie. Das heißt, erhalte einen Wert, den du nicht kennst, von Menschen, die du nicht kennst, für die Kunden, die du nicht kennst. Das heißt also, im Grunde genommen, du öffnest eine Plattform, Deine API, da kommen irgendwelche coole Leute, die entwickeln irgendwelche Software, die verwenden die, verkaufen die. Das kennen wir ja von Salesforce, von Android, Apple und Google APIs. Insofern, in solchen Fällen lohnt es sich dann auf die Ökosystemansätze zu setzen.

Joel Kaczmarek: Spannend. So, jetzt lass uns doch auch nochmal ein bisschen Big Picture-mäßig auf die andere Seite des Teichs gucken. Also es hat sich ja in den USA auch parallel ganz viel getan. Also vielleicht mal ein Schritt, über den wir auch nochmal reden könnten. Bei OpenAI hat man ja dieses Agent-Model irgendwie und das ganze Thema Automatisierung vorgestellt. Magst du uns mal so ein bisschen erklären und abholen, was es damit auf sich hat?

Hamid Hosseini: Genau, also der Operator, du meinst den, der vor kurzem rauskam. Der Operator ist im Grunde genommen ja ein browserbasiertes Agent, was ja in der Lage ist, innerhalb des Browsermodells, da gibt es ja auch ein schönes YouTube-Video in der Demo, ich lerne dir das sehr schön. Das heißt, es wird einfach eine Instanz generiert, dann sieht man halt, wie das Modell mit dem Browser agiert und einfach erklärt ist es so, wir kennen das schon von GPT-4.0, Da kann man ja Bilder reintun, der erkennt die Bilder. Das heißt, das Modell macht jemand einen Screenshot und anhand des Screenshots erkennt er halt, was muss ich wo eingeben, wo sind die Knöpfe, die ich drücken muss, wo sind die Regler, welche Eingaben werden verlangt. Und je nachdem, wie ich das Modell instruiere, welche Rolle gebe, also wie ich das prompt mache, Für die Interaktion weiß es zum Beispiel, was es tun soll. Und dann geht es Schritt für Schritt durch. Füllt die Sachen aus, wenn ich eine Passwörter brauche. Dann muss dann der User oder die Userin die Kontrolle übernehmen, die Passwörter, die Kreditkartendaten und so weiter eingeben. Und dann wird dann einfach die Aufgabe ausgeführt. Als Beispiel, wenn ich zum Beispiel eine Kinokarte buchen will, dann sage ich einfach, geh zu UCI, UV, was auch immer. Buch mir bitte zwei Karten für eine Abendvorstellung um 20.30 Uhr und nimm bitte die besten Plätze. Ich sehe irgendwie am liebsten auf Plätze, die ganz mittig sind oder ein bisschen Mitte hinten. Und das macht das Modell. Das heißt, so sucht man nach der Website. Die Website wird aufgerufen, macht immer schön Screenshots, geht da rein. Irgendwann musst du dich einloggen. Und wenn du dich eingeloggt hast, dann sucht die Vorstellung für dich raus. Ab und zu kommunizierst du ja links mit dem Modell. Und es ist erstaunlich. Also ich habe es getestet. Und das war wirklich so, es konnte sofort auch die besten Plätze erkennen, die da frei waren. Hat mich auch gefragt. wo es ein bisschen gehakt hat, waren natürlich die Logins und die Zahlung. Das ist auch okay, weil das sind ja Security Issues. Was ich nicht wusste, ehrlich gesagt, Joel, dass man sowas nicht in Deutschland für Banking einsetzen darf. Also ich habe dann gedacht, du kannst aber natürlich was überweisen. Zack, war das geblockt. Ich war geblockt. Also das war ein bisschen unangenehm, bis ich dann recherchiert habe, dass anscheinend solche Agents oder Operator-Agents in Deutschland oder Europa nicht erlaubt sind. Keine Ahnung, warum. Da muss ich noch recherchieren. Ich vermute, das ist so ein Mix zwischen Lobby und Technik. Ja, das wäre vielleicht nochmal jemand, der im Banking-Umfeld ist, kann da eine Podcast-Folge was dazu sagen.

Joel Kaczmarek: Und wie fällst du dich mit dem ganzen Thema Video? Weil da hat ja OpenAI zuletzt auch nochmal Fahrt aufgenommen, dass es mittlerweile nicht nur Bilder generieren kann, sondern komplettes Video. Und also was ich bis dato so gesehen habe, war schon sehr krass.

Hamid Hosseini: Also ich habe da ja mal ein paar Posts zu Zora abgesetzt. Du meinst Zora, ne? Und das ist ein mega cooles Modell. Da gibt es ja mittlerweile auch Alternativmodelle. Und da gab es ja auch, ich glaube von DeepSeek, jetzt habe ich den Namen vergessen, auch ein Videomodell oder multimodales Modell. Also jetzt bleiben wir aber bei Sora. Bei Sora ist es so, ich habe bei mir im LinkedIn diesen Golden Retriever Welpen erstellt und da muss ich dazu sagen, es hat wirklich echt lange gebraucht. Der Prompt war klar, aber ich musste mindestens 20 Videos produzieren, bis eins davon gut wurde. Also diese Geschichten, die da erzählt werden, das One-Shot, nee, nee, nee, das ist nicht mal Few-Shot, das ist sehr, sehr viele Shots und sehr viel Geduld. Teilweise denkt man so, was soll das? Aber von 20 Versuchen oder so, dann wird ein Video wirklich top. Und in der Regel, wenn ich ein Bild oder Video habe, kann ich auch damit auch weitermachen. Man kann Sequenzen erstellen und so weiter. Dann ist es eigentlich in der Regel leichter. Aber so die Dinger, die da gezeigt werden, glaube mir, das sind meistens vielleicht sogar 30, 40, 50 Versuche, bis sie wirklich so aussehen. Also es ist so, ich glaube, da muss man noch ein bisschen warten, bis die Dinger perfekt sind.

Joel Kaczmarek: Okay, aber es tut sich was. Und dann gab es ja in den USA natürlich dieses gigantische Projekt Stargate, also als Serienliebhaber, der früher diese Serie sehr geliebt hat, hatte ich den Namen beschwunzelt, wo ja die US-Regierung sagt, 700 Milliarden investieren wir und Oracle, OpenAI und hilft mir hier, wie hieß er, der Asiate, Softbank, dürfen quasi oder sind diejenigen, die das da koordinieren und steuern. Was hältst du so davon? Hast du schon so erste Eindrücke gewonnen, was das eigentlich bedeutet? Weil das sind ja unfassbare Summen, wenn man sich mal den deutschen Markt im Vergleich anguckt. Also die amerikanische Markt ist schon so weit voraus, jetzt dieses Investment. Wie würdest du es so einordnen?

Hamid Hosseini: Ich glaube es sind 500 Milliarden. und bei den 500 Milliarden ist es schon so, dass da die einzelnen, sagen wir mal, ob das jetzt ein Konsortium ist oder wie auch immer für ein Modell dahinter ist, die bringen ja schon einen signifikanten Beitrag mit. Und ich glaube schon, dass das schon eine ernsthafte Ansage ist. Ich bewerte das schon so, dass sie es für sich erkannt haben, Die US-Amerikaner, dass das einfach eine Investition in die Zukunft ist, Investition in, wie Sie auch in dieser Rede gesagt haben, zum Beispiel Gesundheitswesen, Bio-Forschung, Zellforschung oder auch andere Bereiche. Also insofern, das hat ja nicht nur eine Auswirkung, dass wir davor sitzen und irgendwie komische Sachen prompten, sondern möglicherweise kann es sogar dazu führen, dass wir Tödliche Krankheiten heilen können oder, oder, oder. Das heißt also, das hat auch einen gesellschaftlichen Beitrag. Plus natürlich, die machen das ja nicht nur deshalb. Die machen es auch, damit sie auch einfach den Wandel des Landes vorantreiben. Und manche sagen auch, das war doch alles klar. Und gut, wenn das alles vorher klar war, warum hat keiner darüber berichtet vorher? Und noch interessanter übrigens fand ich dann auch, nachdem diese Meldung kam, da hat sich jeder dann zu Wort gemeldet. War auch schön, ja. Aber ich denke so, okay, wir können jetzt alle reden, aber eigentlich müssen wir jetzt handeln. Und was bedeutet für uns, dass wir aus meiner Sicht europaweit eine Initiative brauchen, die so ähnlich gelagert ist und idealerweise auch wirklich mit wirklich waschechten Expertinnen, die sich in dem Umfeld auch auskennen, egal ob das jetzt im Bereich Infrastruktur oder Grundlagenforschung ist, weil Grundlagenforschung ist das A und O, das haben wir ja bei DeepSeek ja vorhin besprochen. Das sind ja Top-Menschen, Mathematikerinnen, die da diese Grundlagenforschung gemacht haben. Das kostet halt alles Geld. Und hoffentlich jetzt nicht wie manche Projekte, ich will jetzt keinen Namen nennen, wo man auch viel investiert hat, viel vorhatte und am Ende des Tages nur Lobbyismus oder sonst was da rauskam. Das ist halt eine Sache, das machen die Amerikaner besser als wir. Und da müssen wir wirklich auch das Gleiche machen. Und ich glaube, die Finanzen könnte auch die EU aufbringen, lieber Joel. Ja. Das bedeutet, eigentlich müssen wir auch solche ähnliche Initiativen in die Wege leiten und ein bisschen mutiger werden.

Joel Kaczmarek: Ja, ich habe immer geguckt, du hast recht, es waren 500 Milliarden, ich weiß gar nicht, wie oft die 700 kamen. Wie hast du das so mit der ganzen Achse zu Elon Musk irgendwie wahrgenommen, weil der ist ja so ein Ängstvertrauter von Trump, aber gleichzeitig ja mit OpenAI total überworfen, weil er da ja anscheinend durchregieren wollte, man ließ ihn nicht und dann ist man ja da durchaus verstritten, würde ich sagen. Also OpenAI macht ja auch ganz viel Public dazu, sie haben ja ganz viel geteilt, die E-Mails, die da irgendwie rausgegangen sind und Der hat ja eigentlich sein eigenes KI-Projekt auch mit diesem XAI. Also ist ja eigentlich auch eine ulkige Entwicklung, dass dann gerade diese Konstellation zustande kam. Hast du da so ein bisschen drauf geschaut?

Hamid Hosseini: Ja, das sind jetzt so Sachen, ich sage mal, das können vielleicht Sozial- und Verhaltensforscher besser bewerten. Fachlich gesehen ist das so, dass ja Musk ja am Anfang ja auch mit diesem Team war und die haben sich ja aus unterschiedlichen Gründen irgendwann befasst. getrennt, das ist ja aus OpenAI herausgegangen, war auch übrigens maßgeblich dafür verantwortlich, dass Ilya Satske quasi von Google zu OpenAI ging. und dieser Streitpunkt ist natürlich schon so, dass aufgrund der Entwicklung, die OpenAI gemacht hat und der technologischen Entwicklung, ist das schon natürlich eine enorme Geschichte, die da entstanden ist. Und wie gesagt, ich will mich auch nicht äußern zu dem ganzen Hintergrund, wer wen mag und wer wen nicht leiden kann. Fakt ist halt, durch diese Änderung der Gesellschaftsstruktur von OpenAI, von quasi Non-Profit in Richtung Profit, war halt auch etwas, was er dann wiederum als gefundenes Fressen gesehen hat und dagegen auch rechtlich vorgehen wollte und will. Und es geht auch gerade dagegen vor. Und insofern denke ich, das wird halt spannend, um zu gucken, wie sich das alles entwickelt. Er entwickelt ja auch selbst Grog. Insofern ist es ja auch jetzt kein schlechtes Modell. Ich vermute, was ich so im Moment höre aus der fachlichen Welt, aus der KI-Welt, dass auch sehr bald ein ziemlich großes Modell von ihm erscheinen wird. Es sind enorme Investitionen geflossen. Er hat ja auch relativ innerhalb kürzester Zeit auch sehr viel Geld bekommen, die 10 Milliarden. Also das sind ja Summen, die sind ja unvorstellbar. Also insofern, du merkst, ich kann nur aus der fachlichen Seite das beurteilen.

Joel Kaczmarek: Ja, hey Hamid, mega. Vielen Dank. Also ganz viel gelernt und dann auch noch Markteinschätzung und trotzdem den Anstand gewahrt. Finde ich super. Dann ganz, ganz herzlichen Dank und bis zum nächsten KI-Austausch mit dir.

Hamid Hosseini: Sehr gerne. Hat mich sehr gefreut. Vielen Dank, Joel.