Künstliche Intelligenz richtig skalieren

Rasmus Rothe: Digital Kompakt. Heute aus dem Bereich Künstliche Intelligenz. Mit deinen Moderatoren Rasmus Rothe und Jasper Masemann. Los geht's.

Jasper Masemann: Willkommen zu einer neuen Folge von AI Unplugged von Digital Kompakt. Mein Name ist Jasper Masermann, ich bin Partner bei HV Capital, fokussiere mich auf Software und AI Investments.

Rasmus Rothe: Und ich bin Rasmus Rothe, Mitgründer von Merantix, einem Venture-Studio, welches KI-Unternehmen inkubiert. Wir freuen uns sehr auf die Folge heute. Es wird nämlich heute um das Thema Skalierung von KI-Teams und Produkten gehen. Ihr kennt es ja alle, mittlerweile ist es relativ einfach, mit Open Source KI zum Laufen zu kriegen, gerade wenn es um kleine Anwendungen geht. Jeder kann mittlerweile in ein paar Stunden Algorithmen zum Laufen bringen und zum Beispiel seine Urlaubsfotos sortieren. Wenn es jetzt aber darum geht, wirklich skalierbare Anwendungen zu bauen in größeren Unternehmen auf Terabyte an Daten, die robust laufen müssen, ist das Ganze gar nicht mehr so einfach. Und deswegen reden wir heute genau über dieses Thema. Wie kann man im Prinzip etwas Kleines im Bereich KI skalieren, damit es in einem großen Unternehmen laufen kann? Es gibt ja mittlerweile auch sehr viele Tools in diesem Bereich, die das Ganze einfacher machen. Und trotzdem gibt es immer noch eine ganze Menge an Herausforderungen und Und deswegen freuen wir uns sehr, heute unseren Gast dabei zu haben, der sehr viel Erfahrung in diesem Bereich hat und sicher einige Learnings mit uns teilen wollt. Also wenn ihr selber eine KI-Anwendung skalieren wollt, dann hört auf jeden Fall weiter zu.

Jasper Masemann: Genau, und das Spannende ist, das Thema ist gar nicht so neu. Es gibt es schon länger und deswegen freuen wir uns ganz besonders, dass Mikio Braun heute bei uns ist. Hallo Mikio. Hallo. Mikio hat schon sehr, sehr früh damit angefangen, Informatik natürlich zu studieren, aber dann vor allem mit Fokus auf Machine Learning. Mikio, vielleicht kannst du nachher mal sagen, wie das eigentlich damals hieß, hat dann diverse Postdoc-Tätigkeiten in Bonn am Fraunhofer-Institut und der TU Berlin durchgeführt, hat dort auch einige Leute inspiriert zum Thema Machine Learning. Da kommen wir am Ende nochmal zu. Und dann 4. vier Jahre bei Zalando als AI-Architekt, nenne ich das jetzt mal, das war glaube ich deine letzte Position, gearbeitet, das heißt also einfach riesen Daten skalieren müssen und damit arbeiten müssen und das gleiche dann nochmal bei GetYourGuide gemacht und arbeitet jetzt als freier Berater und hilft halt Firmen, genau diese Skalierung genauso durchführen zu können, genauso gut durchführen zu können. vor allen Dingen und nebenbei unterstützt er zum Beispiel noch The Data Exchange Podcast und ist sehr aktiv in der Szene. Wir freuen uns sehr, dass du da bist. Vielleicht kannst du uns so eine kleine Intro geben. Wenn ich jetzt so lese, Machine Learning, das ist ja sehr, sehr breit, wo du dich da wissenschaftlich bewegt hast und was du dann auch wirklich konkret als besondere Anwendung vielleicht bei Zalando und GetYourGuide gemacht hast.

Rasmus Rothe: Ja, sehr gerne. Damals, als ich Machine Learning gemacht habe, da war das ja noch wirklich so Forschung. und AI. Der wirtschaftliche Nutzen war noch gar nicht so klar. Und in meiner Promotion habe ich mir so wahnsinnig theoretische Themen, also es war eigentlich eher so eine Mathe-Diplomarbeit, die ich gemacht habe, über so Konvergenz-Eigenschaften von Kernmethoden. Also als ich richtig aktiv war, das war noch vor Deep Learning, da waren eher so Support Vector Maschinen und solche Sachen. Das war das, was man damals gemacht hat. Und ich habe mich zum Beispiel damit beschäftigt, Wie funktioniert das eigentlich, wenn man immer mehr Daten kriegt? Kann man da verstehen, was da eigentlich passiert? Und nebenher habe ich halt auch viele angewandte Projekte gemacht. Zum Beispiel im Bereich Bioinformatik. Wir haben mit Daimler Chrysler was gemacht zur Analyse von Hirnsignalen. Mit Siemens was zur Steuerung von Windturbinen und so. Also man kommt so rum, wenn man so lange da ist wie ich.

Jasper Masemann: Gib uns mal ein Gefühl, wann war das? Ungefähr welches Jahr?

Rasmus Rothe: 2005 habe ich promoviert und dann war ich etwa 10 Jahre, also bis 2015, glaube ich.

Jasper Masemann: Ja, also weit, weit vorm Boom. Okay, cool.

Rasmus Rothe: Ja, genau. Ich erinnere mich noch, diese NIPS oder jetzt NeurIPS-Konferenz inzwischen, das war damals halt so die Hauptkonferenz. Das war damals schon groß, aber das war lange bevor das so richtig groß geworden ist. Also irgendwann, ich war dann schon gar nicht mehr da, da gab es ja dieses Event, wo Mark Zuckerberg bei so einem Workshop mit dem Heli eingeflogen wurde. Plötzlich sagten da Leute, was ist jetzt passiert? Warum ist der Typ hier? Warum sind Bodyguards neben dem Eingang zum Auditorium und so?

Jasper Masemann: Hat dich dann Zalando einfach angerufen und gesagt, das wollen wir auch? Oder wie bist du da hingekommen?

Rasmus Rothe: Nein, es war tatsächlich umgekehrt. Also ich habe ja noch nebenher dieses Dream Drill TwinPact gemacht mit einem Kollegen. Was heißt das?

Jasper Masemann: Was war das?

Rasmus Rothe: Das war so eine, also Startup ist vielleicht zu viel gesagt. Das war so ein Projekt, wo wir zuerst mit Twitter-Daten Twitter-Trends analysiert haben in Echtzeit. Und später haben wir festgestellt, dass man das auch für so Klick-Daten alles Mögliche machen kann. Und wir hatten dann halt so eine kleine Analyse-Plattform und haben so Pilotprojekte gemacht mit verschiedenen Firmen. Und das hat, glaube ich, einfach so viel Spaß gemacht, was zu machen und das zum Kunden zu bringen und dann direkt Feedback zu kriegen, das war so gut. Und im Vergleich dazu diese wissenschaftlichen Zyklen, du weißt, man schreibt ein Paper, wartet ein halbes Jahr und dann sagt irgendwie der Reviewer, könnt ihr nicht das auch noch machen? Also es fühlte sich sehr langsam und irgendwie nicht gut an. Aber andererseits, mit dem Stream, wir waren so zwei Techniker, wir wussten auch nicht so genau, wie wir das groß machen. Und irgendwann dachte ich dann, gut, das muss jetzt irgendwie weitergehen. Hab dann das erstmal bleiben gelassen und hab dann aber festgestellt, dass ich an der Uni auch nicht mehr glücklich werde. Und dann war es zu der Zeit so, dass viele von meinen Kollegen bei Zalando angefangen hatten. Und dann hab ich die halt gefragt und so, wie sieht das da aus, ist das okay? Ja, und die meinten, ja

Jasper Masemann: Das ist ein Gutschein, kannst du shoppen gehen.

Rasmus Rothe: Genau. Und irgendwann dachte ich, gut, jetzt habe ich da mit Andreas Antrup Kontakt aufgenommen, den ich von so verschiedenen Meetups kennengelernt hatte und so hat sich das dann entwickelt.

Rasmus Rothe: Ja, und was waren dann so die ersten Anwendungen, an denen du da gearbeitet hast? Also ging das da schon direkt mit KI und Machine Learning Anwendungen los. oder hast du da erst noch andere Themen gemacht? Also waren die damals schon bereit, damit zu starten?

Rasmus Rothe: Als ich angefangen habe, war ich damals dieses Delivery Lead für Search und Recommendation für zwei Teams, die halt die Empfehlungsseite machten und das andere war die Suche. Und dieses Recommendation-Team, das gab es zu dem Zeitpunkt auch schon ein paar Jahre und die waren sehr weit, also so state of the art. Also auf jeder Artikelseite gibt es dann ja immer diese Recommendation-Boxes. Also es war schon sehr groß, sehr large scale auf den ganzen Klickdaten. Zalando hat natürlich auch jede Menge Traffic. Das war schon ordentlich so. Und dann als ich gekommen bin, ging es dann halt in die Frage, wie können wir das jetzt noch personalisieren und solche Sachen.

Jasper Masemann: Was wir immer viel hören, ist, dass ja gerade bei älteren Firmen in Anführungszeichen die Infrastruktur schwierig ist, Richtung AI-Anwendung und Skalierung. War das so die erste Herausforderung, die erstmal fit zu machen oder war das schon alles für dich da?

Rasmus Rothe: Also Zalando war zu dem Zeitpunkt ja auch noch nicht so alt. Die hatten gerade ihren Börsengang, da waren die ja auch schon fünf Jahre alt. Also im Nachhinein denke ich unglaublich, wie schnell das ging. Und die haben aber auch gefühlt alle zwei Jahre alles komplett neu gemacht. Als es sich ankam, da war gerade Eric Bowman da, da hatten die sich gerade entschieden, dass sie jetzt von so einem Java-Monolith auf Microservices umsteigen. Vor allen Dingen aber, diese Teams haben halt selber sehr, sehr viel gebaut. Also das Recommendation-Team hatte einfach sich alles selber gebaut, was sie irgendwie brauchten. Das war schon gut. Also es gibt halt dann verschiedene Teams bei Zalando, die irgendwas mit Machine Learning machen und die hatten aber alle ihre eigenen Ansätze. Also es war sehr, sehr inhomogen. Aber ich glaube, das ist jetzt anders als so eine Firma, die es schon seit 30 Jahren gibt und wo man dann irgendwie anfangen möchte, Machine Learning zu machen. So schlimm war es nicht.

Rasmus Rothe: Und wie hat sich das dann weiterentwickelt? Also auch in den Jahren danach war es so, dass trotzdem dann eher so die Teams ihre eigenen Tools und Techniken und Projekte gepusht haben? Oder wurde das dann auch zum Teil wieder ein bisschen mehr zentralisiert? Also hast du da weitere Wellen sozusagen gesehen und hast du da so einen präferierten Modus zu arbeiten?

Rasmus Rothe: Ja, also ich bin ja dann später in so eine Principal Data Scientist Rolle hieß es oder Principal Research Engineer und dann wurde mein Scope auch immer größer. und tatsächlich habe ich dann in den letzten zwei Jahren zum Beispiel gab es dann so ein Machine Learning Plattform Projekt. Also Zalando hatte eh so ein zentrales Team, was halt für alle die Cloud Architektur baut und solche Sachen und ein Data Lake, das war was, wo sie viel rein investiert hatten. und da gab es dann auch die Frage, wie man das irgendwie macht. Was braucht man eigentlich für Infrastruktur, die diesen Teams irgendwie hilft? Und auf dem Projekt war ich dann so eine Art beratender Architekt. Das war halt so ein Team aus Entwicklern und da ging es halt darum, was brauchen die eigentlich, wie soll man das irgendwie bauen? Und da haben wir irgendwie so eine Roadmap gebaut. Also das ist ja per se ein schwieriges Thema, weil die Teams hier schon gut funktionieren, die haben wahnsinnig viel und jetzt baut man irgendwas Neues und dann ist immer die Frage, werden die dann gezwungen zu migrieren oder lässt man die lieber in Ruhe oder baut man eher was für neue Teams und solche Sachen. Also das ist nicht so einfach, ja.

Rasmus Rothe: Aber das heißt, du sagst schon, es macht grundsätzlich eigentlich Sinn, irgendwann zu so einer zentralen Plattform zu kommen, die eigentlich dann eher alle enablen, ihre eigenen Use Cases darauf umzusetzen, aber schon da so gewisse Standards zu setzen, damit es nicht, gerade wenn es wächst, irgendwie so ein komplettes Kuddelmull wird, oder?

Rasmus Rothe: Ja, auf jeden Fall. Also das ist ja auch schon allein die Frage. in so großen Firmen ist ja auch oft, dass die Leute halt intern wechseln und wenn jedes Team einen komplett eigenen Stack hat, dann ist es natürlich irgendwie schwierig. Und was andere natürlich, was man auch gerne hat, ist, dass die Teams irgendwann auch nicht mehr ihre eigene Infrastruktur warten müssen. Also das Recommendation-Team hatte zum Beispiel einen eigenen Cassandra-Cluster, in dem die halt die ganzen Klicks gesammelt haben. Also wir hatten da zum Teil monatelange Migrationsprojekte nur rund um Cassandra. Und natürlich möchte das Team halt lieber auch gerne was Interessanteres machen.

Jasper Masemann: Und wenn ich jetzt CEO bin von so einer Firma oder einfach das Budget verantworte und mir überlegen muss, worein ich jetzt investiere, du hast ja sicherlich irgendwelche Konflikte, wenn du da jetzt einen Push machst, einen AI-Push. Mit welchen Teams, mit welchen Ressourcen waren so die größten Reibereien und wie konnte man die am besten lösen?

Rasmus Rothe: In dem Sinn von dem allen war schon irgendwie klar, dass da rein investiert werden muss. Es gibt natürlich rein technisch immer irgendwie Reibereien. Also es gibt ja immer eher so klassisches Engineering und dann irgendwie AI. Zum Beispiel ist es so, die ganze Infrastruktur wurde natürlich eher halt für diese ganze Microservice-Welt gebaut. Und AI ist halt doch ein bisschen anders. Und Microservices sind meistens stateless. Irgendwie so ein Webserver, wenn du halt zehn mehr brauchst, dann startest du halt zehn mehr. Aber AI braucht dann immer noch irgendwelche Daten und das lässt sich manchmal nicht so gut abbilden. Ein großes Thema zum Beispiel ist immer Live-Daten. Man macht vielleicht mal gerne irgendwelche Experimente und möchte dafür gerne Live-Daten haben. Aber so die klassische Engineering-Schule sagt halt eher, das muss ganz strikt getrennt sein. Es gibt halt Live-Daten, es gibt Testdaten und das darf auch nicht zusammenlaufen.

Jasper Masemann: Das heißt, wen hast du da überzeugt? Die Engineers oder eher die Business-Leute?

Rasmus Rothe: Die Engineers eher, glaube ich, weil die müssen es ja am Ende bauen.

Rasmus Rothe: Und hast du das da stark getrennt? Also in manchen Firmen ist es ja so, dass du irgendwie die hast, die die Modelle bauen, die verbessern, da irgendwie im Endeffekt die Accuracy pushen. Aber dann hast du irgendwie ein zweites Team, das dann diese Modelle deployed und gerade wenn es auch in Echtzeit laufen muss, das ja vielleicht auch in einer anderen Programmiersprache ist, andere Skills. Wie denkst du darüber nach? Weil es hat ja beides so ein bisschen Vor- und Nachteile, das zu trennen versus da sozusagen die gleiche Person zu haben, die die Modelle trainiert, aber die dann auch in Production setzt. Hast du dazu eine Meinung?

Rasmus Rothe: Ja, tatsächlich. Ich glaube, das ist auch immer noch nicht so richtig klar, was besser ist. Zalando hat interessanterweise beides gehabt. Als sie angefangen haben, hatten sie so ein zentrales Data Science Team, die halt Pilotprojekte gemacht haben und solche Sachen. Und dann ist halt natürlich das Problem, wenn es dann irgendwann gut ist und du möchtest es in Production geben, dann muss es halt ein anderes Team geben und die müssen es manchmal nochmal neu implementieren. Und dann kommt man nicht mehr so einfach zurück. Also man kann nicht dann einfach weiter iterieren. Man muss sich ja irgendwie auch um die Modelle kümmern und so. Aber es ist natürlich, wenn man starten will, die beste Möglichkeit, glaube ich. Und wo die dann hingegangen sind und was, glaube ich, wenn man so skaliert irgendwann auch möchte, ist, dass man Teams hat, in denen Engineers und Data Scientists zusammensitzen, die einfach eine Produktverantwortung haben und dann auch eng zusammenarbeiten können. Und das heißt aber, dass die Data Scientists bis zu einem gewissen Grad dann halt auch Engineering beherrschen können. Aber das ist natürlich immer irgendwie eine Herausforderung. Manche Data Scientists würden gerne am liebsten den ganzen Tag Statistik und Mathe und Deep Learning machen. Aber es gibt auch immer wieder Leute, die sich halt auch für diese eher technische Seite interessieren. Und dann gibt es jetzt ja auch so neue Rollen wie so Machine Learning Engineers, die eher Engineers sind, aber sich mit diesem ganzen AI-Stack irgendwie auskennen.

Jasper Masemann: Das finde ich eine super Überleitung zu dem Thema. Rasmus hat es vorhin auch schon angesprochen, Recruiting und Menschen. Du sagst es ja selber, das sind ja alles relativ neue Rollen. Du hast jetzt ja eine ziemlich lange Evolution, aber trotzdem schon mal gesehen. Hast du so Erfahrungen, die du teilen kannst Richtung Recruiting, vielleicht auch Interviewung? Wie kriegt man raus, ob die gut sind und vielleicht dann aber auch Ausbildung? Vielleicht musst du ja sogar on the job mehr trainieren.

Rasmus Rothe: Gute Frage. Tatsächlich bei Zalando, ich habe über die Jahre, ich habe irgendwann mal geguckt, ich glaube 300 Interviews gemacht oder so. Interessanterweise hat es sich auch sehr geändert, als ich angefangen habe. Da war tatsächlich noch so Support Vector Maschinen und solche Sachen. Mit jedem Jahr wurden dann einfach die Antworten, egal was man gefragt hat, man hat immer gekriegt, ja was macht man mit Deep Learning. Ja, es ist tatsächlich immer noch sehr schwierig, gute Data Scientists zu finden. Es gibt, glaube ich, viele Leute, die sich dafür interessieren. Aber das, was man meistens möchte, also man möchte halt schon, dass die Leute einerseits schnell Prototypen bauen können, aber andererseits auch wirklich im Detail verstehen, wie die Algorithmen funktionieren. Das sind schon sehr hohe Anforderungen, ja. Und oft ist es auch so, die meisten Firmen, oder wenn man startet, möchte man ja auch eigentlich gerne so einen Senior Data Scientist haben, der halt schon relativ viel Erfahrung hat und vor allen Dingen auch alleine gut arbeiten kann. Und sehr gut mit den anderen Rollen irgendwie reden kann, weil er muss ja dann irgendwie mit denen kommunizieren. Und sowas ist natürlich auch sehr schwer zu finden.

Jasper Masemann: Was wir bei uns so ein bisschen immer diskutieren, also klar, wir investieren ganz früh. Dann hast du natürlich eher so diese Scientists, die dann auch vielleicht so aus dem Research-Bereich oder aus dem praktischen Bereich kommen. Aber dann hast du eben genau diese Evolution. Das Modell wird größer. Du musst vielleicht neue Techniken dir anschauen. Das heißt, du brauchst fast immer so eine kleine Research-Abteilung. Eine Konstante ist, habe ich zum dritten Mal gehabt, Diskussion, ob man das nicht aufsetzt, also eine interne Research-Abteilung, aber dann gleichzeitig so eine eher Data-Engineering-lastigere, wie Rasmus das glaube ich sagte, Produktionsabteilung. Wie siehst du das?

Rasmus Rothe: Ich glaube, ja, zu einem gewissen Maße schon. Ich glaube, die Frage ist halt immer, wenn man Sachen auf verschiedene Rollen verteilt, dann kommt es halt immer zu so einem Bruch, weil dann müssen irgendwie Leute miteinander reden und Sachen müssen übergeben werden. Und die Frage ist halt, wo man das macht. Also ich glaube, es gibt inzwischen immer mehr Technologie, die auch irgendwie einen guten Reifezustand erreicht hat, zum Beispiel im Data-Engineering. Also Data Warehouse würde man jetzt nicht komplett neu bauen. Aber gerade wenn es so zwischen Modellen und Deployment und dann möchte man wieder zurück und vor und zurück geht. Wenn man das zu strikt trennt, dann dauert das einfach immer sehr lange, wenn man wieder zurückkommt, weil dann müssen die Leute miteinander reden und so.

Rasmus Rothe: Das ganze Thema geht ja noch weiter. Also nicht nur zwischen Software Engineering und Machine Learning, sondern im Endeffekt auch zu den, sage ich mal, Business Goals oder Business Leuten und Produkt Teams. Also wie siehst du da die Trennung? Weil im Endeffekt muss auch die richtige Metrik optimiert werden und man muss auch sozusagen das underlying Business Problem eigentlich verstehen. Ja. Wie war da so die Trennung zu den Leuten? Hat das Business-Team und Produkt-Team auch genug, sage ich mal, verstanden von der Tech- oder der Machine Learning? oder gab es da auch gewisse Reibungen? und woher kamen dann auch vielleicht die Ideen, also wo man Sachen verbessern? War das eher so Business-getrieben, dass sie gesagt haben, hey, dieser Algorithmus muss 5% besser werden oder haben eher, sage ich mal, die Machine Learning-Leute gesagt, so, ich glaube, hier könnten wir was verbessern und das dann dem Business-Team gesagt?

Rasmus Rothe: Ja, ich glaube, man braucht auf jeden Fall Produktler, die sich auch gut mit dem Thema auskennen und die auch vor allen Dingen eh schon sehr quantitativ arbeiten. Also es gibt ja auch so Produktler, die sagen, wir haben mit Leuten geredet, die wollen das, wir machen das jetzt, die eher so arbeiten. Aber man braucht schon Leute, die sich auch gerne mal so Grafen angucken und dann so eine Funnel-Analyse machen und sagen, hier, irgendwas stimmt nicht. Und das andere ist, ich glaube ja, dass die Data Scientists enger auch mit den Produktlern zusammenarbeiten müssen und das eigentlich auch können. Weil so diese Produktentwicklung ist ja auch irgendwie so eine Form von Research. Data Scientists ist das irgendwie auch. Das ist halt nicht so technisch vielleicht. Und das andere ist natürlich, manchmal gibt es neue Algorithmen, die neue Produkte möglich machen. Und da müssen die Data Scientists und die Produktmanager halt in engem Austausch stehen, damit sowas überhaupt bekannt wird.

Jasper Masemann: So eine Abteilung muss ja geleitet werden. Ist das dann eher ein Data Scientist mit einer Produktaffinität oder ein Produktler mit einer Data-Affinität?

Rasmus Rothe: Geht sich ja beides gut. Also ich kenne auch viele Fälle, wo Leute auch immer gewechselt haben. Also die Data Scientist angefangen haben und dann sagen, jetzt mache ich Produkt, weil irgendwie braucht man gute Produktler. Ich glaube, es ist alles noch nicht so super klar, was die besten Rollen sind. Und deswegen ist es gut, wenn man da noch ein bisschen experimentiert auch.

Jasper Masemann: Cool. Wollen wir vielleicht einfach mal Richtung deine Learnings gehen aus diesen ganzen Bereichen und was du auch gerade in deiner Beratungstätigkeit gerade siehst?

Rasmus Rothe: Ja, das Interessante finde ich ja, es kommt gar nicht so auf das Machine Learning an oder das Machine Learning ist nur so ein kleiner Teil. Das andere, gerade wenn es größer wird, da sind so viele Leute involviert und das muss halt einfach passen. Und der Hauptunterschied ist, glaube ich, wenn man anfängt mit Machine Learning oder Data Science oder AI oder was auch immer, dass es halt doch ganz anders ist. als so klassische Engineering-Projekte, weil es viel mehr Research getrieben ist. Es gibt viel mehr offene Fragen. Man kann nicht einfach so einen Milestone-Plan machen und den irgendwie abarbeiten. Und wenn das nicht klar ist, dann wird es halt irgendwie schwierig.

Jasper Masemann: Es ist nicht auch einfach ein Experiment wie in der Forschung. Also ich habe die Daten ja noch nicht. Ich habe sie ja noch nicht ausgewählt. Ich weiß ja gar nicht, was rauskommt. Versus Engineering, wo ich sagen kann, ich baue halt diese Software und ich baue sie halt hoffentlich gut, aber natürlich limitierte Zeit und Ressourcen. Aber ich weiß halt wenigstens, dass ich es bauen kann.

Rasmus Rothe: Ja, genau. Auf jeden Fall.

Jasper Masemann: Wie gehst du da ran, wenn du Leute berätst? Also sagst du denen, schreib es einfach ab im Kopf und dann gucken wir mal? Oder kannst du schon mehr Sicherheit geben?

Rasmus Rothe: Also ich meine, was ich ja eh immer mache, ich rede erstmal mit allen Leuten und versuche einfach so ein ganzes Bild zu haben. Und dann frage ich auch immer alle Leute nach den Pain Points und dann kriegt man meistens schon ein sehr gutes Bild. Und ich glaube halt, was man eigentlich machen möchte, man muss halt die größten Risikos und Ungewissheiten, die man hat, in dem Projekt identifizieren und das dann so sortieren, dass man damit anfängt. Das ist weniger so ein, man baut so ein Haus und macht erstmal den Keller. Wir müssen erst mal überlegen, ob man den Dachstudio überhaupt so bauen kann, wie wir das wollen, bevor man irgendwas anderes macht. Und dann ist es halt Timeboxing und quasi Risikominimierung.

Rasmus Rothe: Aber würdest du sagen, wenn man sich an die Sachen hält, dann kriegt man es auch hin, dass die Projekte nicht scheitern? Weil ich glaube, gerade in Corporates sowie auch in Startups wird ja dann gesagt, okay, wir müssen jetzt hier irgendwie Machine Learning und KI machen und das bringt uns viel und dann scheitern aber auch viele Projekte. Was sind so deine Tipps und Tricks, um eben sicherzustellen, dass Projekte nicht scheitern? Vielleicht auch aus der Erfahrung von Projekten, die in der Vergangenheit nicht so gut geklappt haben.

Rasmus Rothe: Wegen dieser Unsicherheit kann es halt immer sein, dass Sachen scheitern, aber ich glaube, man muss halt aktiv damit umgehen und sich überlegen, wie viel Zeit und wie viele Ressourcen möchte ich investieren, um das herauszufinden. Und es ist natürlich auch die Frage, wie neuartig ist es jetzt? Und dann sagt man sich, gut, probieren wir das jetzt vielleicht mal zwei Monate, weiß nicht, zwei Monate ein Team und dann gucken wir, was rauskommt. Und dann machen wir aber auch die Entscheidung, ob es irgendwie weitergeht oder nicht. Und wenn man das halt immer wieder macht, dann ist man zumindest auf dem besten Weg, auch tatsächlich was zu finden und keine Zeit zu verschwinden.

Jasper Masemann: So eine schöne Standardfrage ist ja immer, was sind eigentlich die drei Dinge, man sagt vielleicht auch nur ein Ding, aber die du gerne gewusst hättest damals, als du angefangen hast zur praktischen Anwendung von AI, aber heute leider erst weißt.

Rasmus Rothe: Ich glaube, das eine, was ein bisschen überraschend ist, man braucht manchmal gar nicht so viel Machine Learning. Die Sachen, die man vor zehn Jahren gehabt hat, die funktionieren auch schon, aber man muss den ganzen Rest irgendwie gut machen. Ich glaube, das ist so das Erste. Das Zweite ist tatsächlich, wie wichtig halt die Daten sind und wie schwierig es sein kann, gute Daten in einer großen Firma zu bekommen. Das wird immer unterschätzt.

Jasper Masemann: Ist es das Bekommen von Daten, die Qualitätssicherung, das Aufbereiten oder ist es das Labeln?

Rasmus Rothe: Manchmal schon einfach überhaupt die Daten zu kommen. Also ich habe ja bei Zalando und bei GetYourGuide, das waren ja eh viel Webseiten. Also da hat man einfach User-Interaktionen, die ja in sich schon irgendwie gelabelt sind und man möchte vorhersagen, worauf die Kunden am ehesten klicken oder so. Das ist nicht das Problem. Aber sozusagen Instrumentierung. Man sagt, wir würden gerne irgendwas verbessern und stellt dann fest, das wird überhaupt nicht gemessen. Da ist irgendwie ein Button, aber ob da drauf geklickt wird oder nicht, das wird nicht gemessen. Und wir müssen das jetzt einbauen und das dauert erstmal zwei Monate und dann müssen wir erstmal ein halbes Jahr lang Daten haben und so. Und man muss vorausschauend denken, überhaupt schon mal Produkte zu bauen, um auch Kundendaten zu kriegen, die man dann irgendwann verwerten kann, noch bevor man irgendwie konkret was machen will.

Rasmus Rothe: Das ist eigentlich ein ganz spannender Punkt. Also gibt es da so ein Team in der, sage ich mal, klassischen Produktentwicklung, die irgendwie jetzt im Zalandus-Fall die Website besser machen, die so ein bisschen so Forecasting machen? Also sagen so in den nächsten 12, 18 Monaten ist das auf unserer Machine Learning Data Science Roadmap und deswegen müssen wir an diesen Stellen jetzt schon Daten loggen, auch wenn jetzt vielleicht zwölf Monate keiner diese Daten anschaut. Also gibt es da so ein Setup? Oder würde das Sinn machen?

Rasmus Rothe: Das würde auf jeden Fall Sinn machen. Wird nicht gemacht. Selbst bei Zalando, die das ja insgesamt sehr gut hinbekommen, ist natürlich die Leute, die hauptsächlich daran interessiert sind, erstmal die Teams selber zum Debuggen. Die wollen halt wissen, ob es funktioniert oder nicht. Und dann vielleicht für so Business Analytics, wie viele Items wurde denn heute eigentlich gekauft und solche Sachen. Und dieses AI, das steht so sehr, sehr in der Zukunft. Also anekdotisch, ihr wisst ja von Amazon, die haben ja diese Echos, diese verschiedenen. Und da hatten sie ja irgendwann mal ein Gerät, wo man hochkant Bilder auch aufnehmen konnte. Die haben gesagt, angeblich der Use Case dafür ist, du kannst dann halt deinen Freunden irgendwie deine Outfits zeigen oder so. Aber ich habe mit vielen Leuten darüber geredet und die Vermutung ist halt eher, dass es überhaupt darum ging, mal sehr viele Bilder von Kunden irgendwie zu kriegen. Also natürlich ordentlich anonymisiert und so. Ich weiß jetzt nicht, ob es stimmt. Aber das ist so ein bisschen die Idee. Also vielleicht muss man auch erstmal ein Produkt bauen, das überhaupt nicht Machine Learning verwendet, einfach um Daten zu bekommen, die wir später mal auswählen können. Und das machen, glaube ich, ganz wenige.

Jasper Masemann: Cool. Und Richtung Tools, wir haben da ja auch schon ein bisschen gesprochen. Hast du so ein paar Lieblingstools, die deine AI-Anwendung oder auch einfach Skalierung leichter machen?

Rasmus Rothe: Ich glaube, das richtige Tool, was alles so out of the box hat, gibt es noch nicht. Viele Leute, zum Beispiel SageMaker, das sind schon gute integrierte Sachen. Das Problem ist, glaube ich, eher, ob es alle Use Cases auch abdeckt. Ich glaube, die meisten Tools, die es heute gibt, die decken eher so einfach, also Forecasting, Bildanalyse, solche Sachen. Also ich habe ja viel in Recommendation oder Search, so Sorting gearbeitet. Das ist schon wesentlich komplexer und das lässt sich dann nicht so einfach drauf abbilden. Und es ist wahnsinnig schwer, finde ich, rauszufinden, welches Tool eigentlich das richtige ist, weil alle versprechen natürlich, dass sie alle Probleme lösen. Und da passiert einfach aktuell noch so wahnsinnig viel. Deswegen bin ich auch immer auf der Suche nach was Neuem.

Rasmus Rothe: Wie meinst du, wird sich der ganze Markt entwickeln? Also dieser ganze Tooling-Markt, weil es gibt ja mittlerweile sehr viele Startups, die großen Cloud-Provider machen da viel. Glaubst du, das geht eher in die Richtung, dass du mehr spezialisierte Tools hast, die du dann aber sehr modular zusammenbringen kannst? Oder glaubst du, es wird dann ein paar große geben, die so sage ich mal die Komplett-Plattform anbieten mit allen Use-Cases? Oder glaubst du, das wird noch Jahre so weitergehen wie jetzt? Also wie stehst du dazu? Was ist so deine Vorhersage?

Rasmus Rothe: Ja, es ist wirklich schwer vorherzusagen, weil natürlich einerseits investiert halt Amazon und Google und die alle und Microsoft, die investieren ja wahnsinnig in diese Plattformen und bauen irgendwas. Und ich glaube, wenn es irgendwann mal einen Startup gibt, der gut ist, dann wird das einfach kopiert. Also wahrscheinlich wird es schon eher darauf hinauslaufen, dass Amazon zum Beispiel das Produkt immer besser wird von AWS und dann die anderen sich auch irgendwie so konvergieren. Ich finde, der Bereich, der am weitesten ist, ist halt dieses ganze Data Engineering, Data Warehousing. Da sehe ich inzwischen die Tools sind alle sehr, sehr ähnlich. Die haben halt Konnektoren für alle möglichen Datenquellen und dann im Prinzip so eine SQL Engine drauf. Ich glaube, so ähnlich wird es dann auch werden. Es ist aber eher so eine Suche, was ist überhaupt das Richtige? Also Databricks, dieses ML Flow, was sie zum Beispiel haben, das hat sich über die Jahre auch so wahnsinnig entwickelt. Die ersten Versionen, die ich gesehen habe, da dachte ich so, na gut, sowas habe ich auch irgendwie 15 Mal mit irgendwelchen Studenten gebaut. Aber es entwickelt sich natürlich die ganze Zeit weiter und irgendwann wird es auch gut werden, denke ich.

Jasper Masemann: Wenn Mikio morgen ein Startup gründet im AI-Bereich, was würdest du denn dann gründen? Oder willst du uns das nicht verraten? Wir können auch nach dem Podcast sprechen, ist kein Problem.

Rasmus Rothe: Ja, das ist tatsächlich eine Frage, die mich sehr umtreibt. Aber nichts davon ist, wie gesagt, mal sprechfertig.

Jasper Masemann: Okay, also liebe VCs, die zuhören, sucht mal mich hier auf LinkedIn. Viel Spaß. Wenn man jetzt mal einen Schritt weiter geht. Aktuell in der Szene wird ja viel geredet über AI. Du sagst das ja selber. Wir hatten jetzt gerade darüber gesprochen, was du gerne gewusst hättest und heute weißt. Jetzt gibt es ja immer noch viele Leute, die erzählen, was AI alles können kann und auch können wird. Was ist denn so deiner Meinung nach die größte Misconception, der größte Fehler, der aktuell verbreitet wird, was AI ist? Kann.

Rasmus Rothe: Sehr gute Frage. Ich glaube, man traut AI zu viel zu. Es ist auch belegt. Ich habe irgendwie einen Blogpost geschrieben, 2013 oder so. Die größte Gefahr von AI ist halt, dass wir dem zu viel Macht schon geben. Es geht gar nicht darum, ob es jetzt so Superroboter werden, die uns dann versklaven oder so. Aber es geht ja immer mehr dazu, dass wir Sachen, Entscheidungen an AI übergeben, irgendwelche Kreditentscheidungen. Oder in Amerika gibt es ja immer diese Geschichten, dass so Kautionsentscheidungen irgendwie auch datengetrieben gemacht werden. Und dann ist es natürlich wahnsinnig gebiased und keine Ahnung was. Also ich glaube, der Grundfehler ist zu glauben, dass AI irgendwie ähnlich funktioniert wie wir. Und das ist, glaube ich, einfach grundsätzlich anders. Und das besser zu verstehen, wird, glaube ich, auch helfen, Risikos zu minimieren, aber auch neue Anwendungsfelder zu finden, auf die wir jetzt gar nicht kommen, weil wir einfach nur menschliche Intelligence als Vorbild nehmen.

Rasmus Rothe: Lass uns jetzt vielleicht nochmal ein bisschen über den Ausblick reden. Also jetzt, was glaubst du, wird in den nächsten Jahren passieren? Also wir haben ja schon gehört, du würdest vielleicht was gründen. Das ist ja schon mal jetzt ganz spannend, aber auch im Bereich Skalierung. Was glaubst du, werden da so die großen Trends in den nächsten Jahren sein? Und welche Barrieren werden vielleicht auch fallen? Was wird einfacher? Was wird gleich schwierig bleiben?

Rasmus Rothe: Es gibt, glaube ich, immer mehr Bereiche, die man schon so im Prinzip gelöst hat, die vielleicht auch in Produkte kriegen, die man einfach einsetzen kann. Also das ist aber generell irgendwie eine Beobachtung, die ich auch im Engineering-Bereich habe. Also ich habe jetzt ja verschiedene E-Commerce-Firmen von innen gesehen und was da alles händisch nochmal neu gebaut wurde, was im Prinzip irgendwie immer dasselbe ist. Das ist halt auch so, also zum Beispiel so Klick-Through-Prediction, Klick-Probabilities, solche Sachen. Das ist natürlich jetzt für jede einzelne Firma ein bisschen anders und das muss getunt werden, aber im Prinzip ist es schon klar, wie man das irgendwie baut. Und das ist aber immer noch so, du gehst halt hin und fängst an, deine Infrastruktur zusammenzubauen. Und da gibt es immer dieses, das ist auch so ein Thema, das ich auch mit so Kollegen diskutiere, zum Beispiel so Search as a Startup, wäre das nicht irgendwas? Weil es gibt so viele Sachen, man hat die irgendwie mal gebaut, jetzt baut man die irgendwo nochmal, kann man daraus nicht irgendwie ein Produkt machen? Und sowas wird sicherlich kommen. Ich glaube, aktuell ist es immer noch so, dass die Produkte noch nicht gut genug sind, dass man sowas komplett outsourcen würde. Aber da wird es sicherlich auch in Zukunft irgendwie hingehen.

Rasmus Rothe: Es ist ja auch eine Frage, wie gut ist einfach dann auch die Datenqualität in den Unternehmen oder wie standardisiert ist, dass man eben, wenn man jetzt so eine Search Engine als Produkt anbietet, dass man die dann eben auch leicht ranflanschen kann, oder? Weil wenn im Prinzip da so viel Integrationsaufwand ist, dann baut man es vielleicht im Zweifel doch noch eher neu. Aber wie du sagst, hoffentlich wird das alles so ein bisschen mehr homogenisiert in den nächsten Jahren. Ja. Um da hinzukommen, brauchen wir ja auch gute Leute. Wie siehst du so diesen ganzen, auch im Ausblick, den ganzen Talentmarkt? Es werden immer mehr KI-Experten gesucht, gleichzeitig wird aber auch mehr ausgebildet. Wie siehst du da die Bewegung? Auch vielleicht in den letzten Jahren, wenn du überlegst, wer hat sich letztes Jahr beworben versus vor vier, fünf Jahren und wie viele Leute und wie sind die so ausgebildet? Siehst du da einen Trend?

Rasmus Rothe: Ja, aber was ich sehe, was immer mehr dazu kommt, ist Engineers, die sich auch für dieses Thema interessieren und sich dann halt so Coursera-Kurse und solche Sachen angucken und dann entsprechend auch was lernen. Den perfekten Pfad gibt es noch nicht. Also man kann so wie ich an der Uni sein und irgendwie promovieren. Und das ist aber, glaube ich, dann vielleicht zu theoretisch. Also es gibt sehr viel Angewandtes, was man eigentlich auch lernen muss. Es gibt dann diesen anderen Pfad, wo man als Entwickler und dann lernt man diese Sachen und dann fehlt einem da so ein bisschen die Tiefe. Ich glaube, es ist immer noch viel. Man fängt halt irgendwo an und braucht dann einfach viel Praxiserfahrung. Man muss viel lernen, einfach Sachen, Produkte bauen, Machine Learning Projekte machen. Sehr, sehr spannend, finde ich so. Also ich glaube, für mich kommt immer, wenn ich mir so CVs angucke, Interviews mache, mich interessiert immer, wie haben die Leute auf den Projekten gearbeitet? Haben die einfach nur Methoden angewendet? Wissen die schon, was sie machen? Wissen sie auch so ein bisschen, was die Beschränkungen von Methoden sind? Haben sie das Ganze ordentlich validiert? Wie ist die Verbindung zum Business-Bereich und so? Also da gibt es so über das reine Machine Learning hinaus noch viele andere Sachen, die man auch einfach können muss.

Jasper Masemann: Cool. Und wir hatten ja schon so ein bisschen Richtung Zukunft und AI-Anwendung gesprochen. Ich habe einen Podcast gemacht über GPT-3, Natural Language Processing. Da ist ja viel passiert. Siehst du irgendeine, ich nenne es jetzt mal AI-Technik, KI-Technik, die jetzt in der nächsten Zeit einen Durchbruch feiern wird? Genau eben da in der Anwendung, wo es eigentlich relevant ist.

Rasmus Rothe: Diese Language-Modelle, das ist schon wahnsinnig viel Fortschritt gemacht. Ich glaube, was so ein bisschen fehlt, ist halt noch die richtige Anwendung. Es gibt halt irgendwie so Auto-Complete, so Intelligent Auto-Complete, Intelligent Spell Correction und solche Sachen. Aber ich glaube, das eigentliche Potenzial ist irgendwie noch ganz woanders.

Jasper Masemann: Muss dafür GPT-3 besser werden? oder ist es eher, dass mal einer ein Produkt drumherum baut?

Rasmus Rothe: Ich glaube eher, dass man ein Produkt drumherum baut. Ganz vereinfacht gesagt ist es ja einfach, du fragst ja nur, was ist denn das wahrscheinlichste nächste Wort, was kommt. Und das ist halt aber, was macht man damit? Das ist ja doch schon sehr universell. Also glaube ich, naja.

Jasper Masemann: Was würdest du dir denn wünschen, was für einen Durchbruch kommt, wenn du

Rasmus Rothe: Zwei Sachen. Ich glaube, das eine ist, wir brauchen was Neues. Dieser unfassbare Ressourceneinsatz für diese riesigen Deep Learning Modelle, die wir haben. Das kann irgendwie vielleicht so nicht weitergehen oder ist ja auch nicht praktikabel. Also ich weiß aber auch nicht, was als nächstes kommt. Es gab da so ein Paper, die haben das quasi so extra poliert und gesagt, okay, wenn wir jetzt nochmal 0,5 Prozent besser werden wollen, wie viel Terawatt müssen wir denn da reinpumpen oder so? Und das wird halt sehr schnell so, dass es eigentlich keinen Sinn mehr macht. Und das andere ist, was mir so ein bisschen fehlt, das ist jetzt aber eher so ein bisschen sehr abgehoben, ist halt eine AI, die nicht mehr so Input-Output-mäßig ist, sondern so eine AI, die sich auch mehr in den Bezug zu Menschen stellt. Ich habe immer so gescherzt, was wir eigentlich wollen, ist Dog-Level-AI. Also wenn ich einen Hund bauen könnte, das fände ich irgendwie cooler. Und ich bin doch nicht mal not a dog person. Also das fände ich noch cooler als ein Programm, was mich irgendwie in Go abzockt, wo ich eh super schlecht bin mit Strategiespielen. Aber so dieses ganze nonverbale Kommunikation, Beziehungen, Empathie, dieser Bereich, ich glaube, das fehlt irgendwie.

Jasper Masemann: Da gibt es ja auch schon viele Versuche, aber es stimmt, das ist noch nicht gut genug auf jeden Fall für eine Anwendung.

Rasmus Rothe: Ja, es gibt glaube ich so Bilderkenner, die dann aus Gesichtern irgendwie Emotionen ableiten, aber es ist dann wieder sehr so Input, Output.

Jasper Masemann: Cool. Sag mal, wir haben noch eine kleine Frage am Ende. Was glaubst du eigentlich, wie viele KI-Unternehmer du schon inspiriert hast in der ganzen Zeit, während du bei Zalando warst, an der Uni? Wir haben von so vielen Leuten von dir gehört. Wir kennen dich natürlich auch.

Rasmus Rothe: Wissen tue ich es natürlich nicht. Es gibt manchmal so komische Momente. Zum Beispiel meinten die Recruiter bei Zalando, meinten immer, die fragen dann gerne, Leute, kennst du irgendjemand, der bei uns arbeitet oder so? Und die meinten, die Leute würden dauernd meinen Namen sagen. Das war irgendwie so eins.

Jasper Masemann: Der Johannes Schaback hat auch sehr von dir geschwärmt. Ich meine, immerhin hat es der ja zum CTO von Home24 geschafft und davor auch mal Ladenzeile gebaut. Und sagt, ohne dich hätte er es nie verstanden.

Rasmus Rothe: Ich hatte Johannes in der Masterarbeit betreut, aber mit dem Rest habe ich natürlich nichts zu tun.

Jasper Masemann: Es muss ein Riesenschmerz gewesen sein.

Rasmus Rothe: Es war großartig. Ich erinnere mich noch, er hat mir irgendwann, ich weiß nicht, so um ein Uhr morgens ein Bild aus dem McDonald's geschickt mit so einem Laptop und dahinter waren so leere Hamburger Kisten und meinte, jetzt läuft es irgendwie endlich. Jetzt, das ist gut.

Jasper Masemann: Das speichern wir.

Rasmus Rothe: Danke. Das ist ein gutes Schlusswort. Ja, wir haben noch eine letzte Frage. Und zwar, auf welchen Webseiten würdest du sagen, informierst du dich eigentlich über das Thema KI? Also, weil da passiert ja super viel. Jetzt auch, wenn die Leute draußen, die jetzt zuhören, wissen wollen, was sind die letzten Trends? Ich meine, du bist sehr nah dran. Was ist so deine News-Source, die du anschaust? Gibt es da so eine Quelle, die du besonders spannend findest? Eine Newsletter, eine Website, eine Konferenz?

Rasmus Rothe: Ich muss schon fast sagen, Twitter kommt mir langsam sehr alt vor. Und dann halt sehr viel einfach mit Leuten auch, was die mir so erzählen. Jetzt mache ich ja durch das Consulting eh irgendwie viel mal Anbahnung und irgendwelche Leute mal reden. Und dann höre ich mir auch immer gerne an, was die so interessant finden.

Jasper Masemann: Cool, super. Vielen lieben Dank. Das war sehr, sehr schön. Danke, dass du bei uns warst. Ja, danke, dass ihr mich eingeladen habt.

Rasmus Rothe: Danke, Mikio.

Rasmus Rothe: Danke fürs Zuhören beim Digital Kompakt Podcast. Du merkst, hier ziehst du massig Wissen für dich und dein Unternehmen heraus. noch erfolgreicher werden möchtest, abonniere uns auf den gängigen Podcast-Plattformen. Und hey, je größer wir werden, desto mehr Menschen können wir helfen. Also erzähl doch auch deinen Kolleginnen und Kollegen von uns. Bis zum nächsten Mal.