Neuronale Netze einfach erklärt

Erik Pfannmöller: Hallo und herzlich willkommen zu einem neuen AI Unplugged Podcast von Digital Kompakt. Mein Name ist Erik Pfannmöller, Gründer und CEO von SolveMate. SolveMate automatisiert Kundensupport. Auf unserer KI-basierten Plattform bauen sich unsere B2B-Kunden Chatbots, mit denen ihre Endkonsumenten ihre Kundenanfragen in Sekundenschnelle rund um die Uhr selbst lösen können. Und wie immer bei AI Unplugged erklären wir Alltagsthemen rund um das Thema KI einfach und für jedermann verständlich. Heute geht es bei AI Unplugged um das Thema neuronale Netze. Dazu habe ich Rasmus Rothe, CEO und Gründer von Merantix heute bei mir. Aber bevor ich sage, warum du gut passt und heute hier bist, Rasmus, herzlich willkommen. Erzähl doch mal was über dich.

Rasmus Rothe: Erik, vielen Dank für die Einladung. Genau, ich bin Rasmus Rothe. Mein Background ist in der KI-Forschung. Ich war mehrere Jahre in der Akademie unterwegs, habe Papers im Bereich neuronale Netzwerke publiziert. und dann vor drei Jahren Merantix gegründet. Merantix sitzt in Berlin. Wir bauen KI-Unternehmen auf. Das heißt, wir finanzieren von Tag eins bis zur Produktisierung KI-Unternehmen, bringen das Team zusammen, bringen die ersten Kunden zusammen. und aktuell haben mehrere KI-Unternehmen, die wir aufbauen. Eins im Medizinbereich, da geht es darum, Radiologen zu unterstützen bei ihrer Diagnose. Ein zweites Unternehmen ist im Bereich des autonomen Fahrens unterwegs. und händelt die rohen Daten, die von autonomen Autos kommen. Und dann haben wir noch zwei, drei neue Themen, an denen wir arbeiten. Und in dem Kontext machen wir auch ein bisschen Projektgeschäft mit ein paar Industriepartnern, um eben auch neue Themen zu identifizieren.

Erik Pfannmöller: Das klingt, als ob du einiges an Erfahrung hast und heute sehr spannende Insights zum Thema neuronale Netzwerke, wie die funktionieren, was es eigentlich ist, mit uns klären kannst. Was besprechen wir heute? Wir werden über Themen Definitionen sprechen. Was ist Machine Learning, Deep Learning, AI? Wir werden einen Deep Dive machen in, was sind neuronale Netzwerke, wie funktionieren die? Wir werden uns über das Thema Explainability und Blackbox Gedanken machen, über Limitations. Das heißt, was kann neuronale Netzwerke, was können die nicht? Was sind möglicherweise auch Gefahren und Chancen? Und auch über die neuesten Trends sprechen. Also, legen wir los. Neuronale Netzwerke ist ein riesiger Hype. Kannst du ein bisschen über die Historie sagen, wie es eigentlich dazu kam?

Rasmus Rothe: Genau, neuronale Netzwerke gibt es ja schon seit vielen Jahrzehnten. In den 50ern war man schon relativ optimistisch, dass man KI-Systeme bauen kann, auch auf Basis neuronaler Netzwerke, die sehr, sehr erfolgreich sein würden. Dann hat man allerdings kurz danach gemerkt, dass das doch noch alles nicht so richtig gut funktioniert. Und in den 80ern gab es dann so den nächsten Hype. Da ging es dann vor allem darum, neuronale Netzwerke zu verwenden, zum Beispiel Handschrift zu erkennen. Das hat auch ganz gut funktioniert, aber alles, was dann ein bisschen komplexer war, hat dann doch nicht so richtig geklappt.

Erik Pfannmöller: Warum hat das nicht geklappt?

Rasmus Rothe: Man kann sagen, eigentlich aus drei Gründen, und das sind eigentlich auch die drei Gründe, wieso es heutzutage klappt. Einerseits hat man oft zu wenig Daten trainiert, also das war so. der erste Grund, dass man oft eben nur mehrere hundert oder mehrere tausend Trainingsdaten hatte, von denen das neuronale Netzwerk lernen sollte. Das zweite war, dass die neuronalen Netzwerke selber, und ich erkläre gleich noch ein bisschen, wie die genau aufgebaut sind, einfach zu klein waren und so nicht in der Lage waren, wirklich sehr komplexe Sachen zu lernen. Und das dritte ist schon so, dass eben gerade in den letzten 10 bis 20 Jahren in der KI-Forschung sehr, sehr viel passiert ist, wo auch die Methoden an sich weiterentwickelt wurden, dass sie einfach besser funktionieren. So neuronale Netzwerke muss man sich so ein bisschen vorstellen wie die Neuronen im menschlichen Gehirn. Das sind kleine Recheneinheiten, die im Prinzip nur sehr einfache Multiplikationen und Additionen durchführen können und die aber in einem großen Netzwerk, deswegen neuronales Netzwerk, miteinander verbunden sind.

Erik Pfannmöller: Neurone, das ist sowas wie Gehirnzellen, oder?

Rasmus Rothe: Genau, man kann sich das so eigentlich vorstellen, also wie eine einzelne Gehirnzelle, vereinfacht gesagt.

Erik Pfannmöller: Ich stelle mir so eine Gehirnzelle, die hat ja so eine Art Wurzeln und da gibt es viele, viele Milliarden von einem Gehirn und die sind miteinander verbunden. Und die haben sozusagen Eingangssignale und eine Gehirnzelle kann Signale weitergeben, elektrische Signale. Kann man sich das ungefähr so vorstellen? bei einem neuronalen Netzwerk?

Rasmus Rothe: Ja, man kann sich das ziemlich genau so vorstellen. Also man hat ein einzelnes Neuron, da kommen bestimmte Daten rein und da kommen Daten dann wieder raus. Und diese Daten, die da rauskommen, gehen dann wieder in das nächste Neuron rein. Und davon hat man eben viele Tausend, Zehntausend, Hunderttausend oder sogar Millionen. In der Gesamtheit sind sie dann ein neuronales Netzwerk. Im Prinzip ist es jetzt so, dass man diese neuronalen Netzwerke jetzt nutzt, um eben auf großen Datenmengen zu trainieren. Das heißt

Erik Pfannmöller: Nochmal kurz einen Schritt zurück. Was ist das einfachste neuronale Netzwerk, das du dir vorstellen kannst?

Rasmus Rothe: Das einfachste neuronale Netzwerk ist im Prinzip nur ein einzelnes Neuron, was mehrere Eingangssignale hat und dann ein Ausgangssignal. Also wir könnten zum Beispiel ein Beispiel nehmen und wir wollen ein neuronales Netzwerk bestehen aus einem einzigen Neuron, was dir im Prinzip sagen soll, soll ich heute zum Strand gehen. Das ist die Aufgabe, die das Neuron lernen soll. Und dann gibt es zwei Eingangssignale. Das eine ist das Wetter. Und das andere ist, ob man heute arbeiten muss oder nicht. Wenn es über 30 Grad ist und man nicht arbeiten muss, dann geht man zum Strand und sonst nicht. Und das wäre ein einfacher Zusammenhang, das ein neuronales Netzwerk lernen könnte.

Erik Pfannmöller: Und wenn ich mir dann vorstelle, der Input in diesem Fall ist die Temperatur, sagen wir mal über 30 Grad und keine Arbeit, führt dazu, dass dieses Neuron eine Art Entscheidung trifft. Und die Entscheidung ist dann der Output. Das ist doch Ja oder Nein, richtig?

Rasmus Rothe: Genau, in diesem Fall schon, ja.

Erik Pfannmöller: Sind alle Neuronen binär? Das heißt, Sie sagen Ja oder Nein als Output? Wie funktioniert das?

Rasmus Rothe: Nee, das muss nicht der Fall sein. Also man könnte zum Beispiel auch ein Neuron haben, was eine kontinuierliche Zahl ausgibt. Zum Beispiel, wenn man sich vorstellt, ein Neuron, das in der Lage ist, das Alter einer Person vorherzusagen. Dabei wäre es so, dass eben der Output nicht wäre, ist die Person 10 oder 20 Jahre, sondern das Neuron direkt vorhersagen würde, wie alt die Person ist. Das ist beides möglich.

Erik Pfannmöller: Okay, wir haben also gelernt, es gibt sowas wie Eingangsvariablen, das sind meistens Zahlen zwischen 0 und 1, bitte korrigiere mich, und es gibt Ausgangsvariablen. Aber das ist nicht wie im Gehirn, wo es ist 0 und 1, Signal oder nicht, elektrischer Strom, ja oder nicht, weitergeben, sondern das ist ein Neuron. Und wie wird jetzt aus einem Neuron ein neuronales Netzwerk?

Rasmus Rothe: Genau, wenn man jetzt eben ein Neuron hat, kann man das mit anderen Neuronen verbinden. Jetzt im ersten Schritt hatten wir ja nur ein Neuron, was Eingangsvariablen hat und was ein gewisses Ausgangssignal gibt. Dieses Ausgangssignal kann man jetzt wieder in das nächste Neuron reinführen, wo dann auch die Signale von anderen Neuronen noch kommen und kann das wieder kombinieren in einem Neuron, was wieder dann ein Ausgangssignal gibt. Und so kann man eben im Prinzip sehr, sehr viele Neuronen miteinander verbinden, die alle untereinander verbunden sind und so eben viel komplexere Zusammenhänge lernen können, als nur die Frage, ob man zum Strand gehen soll oder nicht.

Erik Pfannmöller: Das habe ich verstanden. Wir sind jetzt schon fast in den Deep Dive Neuronalen Netze reingekommen. Deswegen würde ich kurz einen Schritt zurück machen und einmal eigentlich so eine Art Definition bzw. Kategorisierung machen. Es sind ja ganz viele Begriffe, die heutzutage herumschulen, von AI, Machine Learning, Deep Learning, neuronale Netze, Convolutional Neural Networks. Kannst du das versuchen, so eine Art Taxonomie zu bringen, damit unsere Hörer das einordnen können, wenn sie diese Begriffe hören?

Rasmus Rothe: Ja, gerne. Künstliche Intelligenz oder AI ist sicher der größte Oberbegriff, der im Prinzip alles beschreibt, was eben künstliche, also maschinelle, intelligente Systeme sind. Das ist ein relativ schwammiger Begriff, der irgendwo anfängt, irgendwo aufhört, aber der im Prinzip eigentlich alles beschreibt, was intelligente Entscheidungen treffen kann und aus Software besteht.

Erik Pfannmöller: Hier kurz ein Querverweis zu unserer ersten Folge von AR & Plug, wo wir das Thema Artificial Intelligence, Superintelligence, General Intelligence auch schon mal kurz beleuchtet haben. Also für die interessierten Hörer, bitte nochmal Folge 1 anhören, da haben wir das auch schon mal grob kategorisiert. Aber wir waren beim Thema Machine Learning, Deep Learning, neuronale Netze, verschiedene Typen.

Rasmus Rothe: Genau. Und wenn man jetzt unter das Thema AI, KI geht, gibt es eben den ganzen Bereich des Machine Learnings. Das ist eine Art von künstlicher Intelligenz. Da ist es so, dass man im Prinzip alle Methoden zusammenfasst, die von Daten lernen können. Wie zum Beispiel eben auch neuronale Netzwerke. Das ist eine Art von maschinellem Lernen, denen man große Mengen an Daten gibt und die daraus eben Zusammenhänge lernen können und dann auf der Basis intelligente Entscheidungen treffen können. Wenn man jetzt sagt, neuronale Netzwerke sind eine Art von Machine Learning. Da hat er so in den 80er, 90ern hat man immer von neuronalen Netzwerken geredet. Mittlerweile redet man von Deep Learning, was eigentlich eine Art neuer Begriff ist für neuronale Netzwerke. Und zwar Deep Learning oder Deep Neural Networks suggeriert einfach, dass die neuronalen Netzwerke sehr tief sind, also sehr, sehr viele Schichten haben, sehr, sehr viele Neuronen haben, die miteinander verbunden sind und deswegen diese Netze tief sind und deswegen man von Deep Learning redet.

Erik Pfannmöller: Was heißt tief sein? Wie kann ich mir das vorstellen? Ja.

Rasmus Rothe: Wir hatten ja vorher schon gesagt, dass man ein einzelnes Neuron hat, was wiederum dessen Ausgangssignal, das Eingangssignal vom nächsten Neuron ist. Und man kann so jetzt diese ganzen Neuronen aneinanderketten und da jeweils auch viele parallel. Je mehr man aneinanderkettet, desto mehr Schichten hat man. Also wenn man zehn Neuronen hintereinander hat, dann hat man zehn Schichten. Diese Zahl beschreibt die Tiefe des neuronalen Netzwerkes.

Erik Pfannmöller: Also es gibt die Tiefe des Netzwerks, in dem wie sozusagen Schichten, die man aufeinander legt. Meistens visualisiert man das von links nach rechts, wenn ich mich nicht irre. Und dann kann ich sozusagen von oben nach unten wie zählen, wenn man sich das so vorstellen kann, wie viele Neuronen in jeder Schicht sind. Und dann gibt es ja noch sozusagen die erste Schicht, die ist sozusagen die Input-Schicht und die Output-Schicht. Und dazwischen gibt es sogenannte versteckte Schichten oder Hidden Layers, wie man die nennt. Und du hast gerade gesagt, Deep Learning beschreibt die Tiefe. eines Netzwerks oder die Breite oder Höhe.

Rasmus Rothe: Genau, Deep Learning wird heutzutage als Begriff für viele neuronale Netzwerke genutzt, weil die Netze mittlerweile sehr tief sind und das ist wie eine Art Rebranding für etwas, was eigentlich schon da war.

Erik Pfannmöller: Das ist interessant. Das heißt, eigentlich ist Deep Learning nun synonym für neuronale Netze, weil heutzutage keiner mehr ganz kleine neuronale Netze baut. Genau. Wie groß sind denn so die neuronalen Netze, die man heute baut? Wie viele Neuronen haben die?

Rasmus Rothe: Unterschiedlich, aber die können bis zu zehntausende, hunderttausende Neuronen haben. Oft zählt man auch weniger die Anzahl der Neuronen, sondern die Anzahl der Parameter, die man dann lernen kann. Und ein Parameter ist im Prinzip, wenn man jetzt ein Neuron hat

Erik Pfannmöller: Du nimmst schon direkt meine Frage vorweg. Ich wollte gerade sagen, was ist denn ein Parameter?

Rasmus Rothe: Genau, ein Parameter ist im Prinzip, wenn man ein einzelnes Neuron ist, wenn man wieder bei dem Beispiel Strand ist, ganz am Anfang, wo man eben zwei Eingangsvariablen hat, nämlich das Wetter und ob man frei hat, dann kann man diese beiden ja unterschiedlich gewichten. Also man könnte zum Beispiel sagen, ob ich frei habe, ist gar nicht so wichtig, weil ich gehe dann trotzdem zum Strand und dann schwänze ich halt die Arbeit. Oder umgekehrt, auch wenn es nicht 30 Grad ist, sondern nur 20 Grad, gehe ich auch zum Strand, weil mich die Kälte nicht so stört. und Das heißt, man kann diese beiden Eingangsvariablen unterschiedlich stark gewichten und da hat wahrscheinlich auch jeder eine etwas andere Präferenz. Das heißt, jeder dieser beiden Eingangsvariablen hat einen Parameter, eine Variable, die beschreibt, wie wichtig sie ist. Das heißt, in diesem Fall mit zwei Eingangsvariablen hätten wir zwei Parameter. Und das sind im Prinzip die, die man dann später auch lernen kann, die das System definieren.

Erik Pfannmöller: Wenn ich jetzt mathematisch darüber nachdenke, wenn du 100 Neuronen hast, dann kannst du ja entscheiden, welches Neuron ist mit welchem verbunden. Wenn du 100 Neuronen mit 100 verbindest, dann steigt das ja quadratisch an. Das heißt, die Anzahl der Neuronen ist gar nicht wichtig, sondern wenn du 100 Neuronen hast, hast du viel mehr mögliche Verbindungen, weil du ja jedes mit jedem verbinden kannst. Und bei 1000 hast du noch viel mehr mögliche Verbindungen. Das heißt, die Intelligenz ist die Anzahl Verbindungen und nicht die Anzahl Neuronen.

Rasmus Rothe: Genau.

Erik Pfannmöller: Und legt man als Forscher oder als Data Scientist fest, was die Verbindungen sind oder ist von vornherein alles miteinander verbunden?

Rasmus Rothe: Normalerweise ist alles miteinander verbunden. Dann startet eben der Lernprozess, in dem man diese Verbindungen dann lernt und wo dann manche Verbindungen sehr stark werden können und manche Verbindungen auch komplett verschwinden.

Erik Pfannmöller: Das ist ganz spannend. Ich komme gleich auf den Lernprozess nochmal zurück. Wir haben gerade über das Thema AI gesprochen als Überbegriff auf alles, was die Menschen nicht verstehen. Machine Learning als Oberbegriff für eine Maschine, die etwas lernt aus Daten, aus Erfahrung und eine Vorhersage macht. Und wir haben gesagt, neuronales Netzwerk ist ein Typ von Algorithmen und Deep Learning ist ein Synonym für neuronale Netze. Es gibt ja auch noch andere Algorithmentypen, wie zum Beispiel Wahrscheinlichkeitsmodelle, wie Entscheidungsbäume, wie Support-Vector-Maschinen. Aber die sind sozusagen heute nicht Bestandteil. Kannst du kurz vielleicht einen Überblick geben, warum gerade neuronale Netzwerke heutzutage so spannend sind? in den letzten Jahren?

Rasmus Rothe: Ja, ich glaube so seit 2011, 2012 haben die Systeme auf einmal einfach sehr, sehr gut funktioniert. Dadurch kam eigentlich das Interesse dann auch der Industrie. Also es gibt diesen einen ganz berühmten Wettbewerb, der heißt der ImageNet Challenge. Das ist der, wo im Prinzip sich die ganzen Forscher miteinander vergleichen, wie gut ihre Algorithmen, wie gut ihre Software funktioniert. Da geht es ganz konkret darum, auf Bildern Objekte zu erkennen, die Bilder zu klassifizieren, also zu erkennen, ist das irgendwie ein Hund, eine Katze, mein Auto. Und da war es eben so das erste Mal im Jahre 2011, dass neuronale Netzwerke auf einmal viel besser waren als alle anderen Methoden, die es davor gab. Und das hat eigentlich dazu geführt, dass diese ganze Forschungswelt in Aufruhr war und sich auf einmal auf die neuronalen Netzwerke gestürzt hat. Und jetzt in den letzten Jahren haben eben neuronale Netzwerke in vielen Anwendungsbereichen gezeigt, egal ob es darum geht, irgendwie Bilder zu erkennen, Sprache zu verstehen, dass sie in der Lage sind, gegeben, dass man genug Daten hat, von denen man lernen kann, diese Aufgaben teils eben schon besser durchführen kann als ein Mensch. Und dann wird es natürlich auch aus Anwenderperspektive sehr, sehr spannend.

Erik Pfannmöller: Mhm. Über ImageNet habe ich auch schon gehört. Da gibt es dann eine Million Trainingsdaten, wo draufsteht, auf diesem Bild ist eine Katze, auf diesem Bild ist ein Hund und noch weitere Klassifizierungen. Und dann nimmt man diese Daten und füttert die in ein neuronales Netz. Und da kommen wir sozusagen schon zum Thema, wie lernt das eigentlich und was ist eigentlich das Ergebnis von einem neuronalen Netz? Ich würde gerne sozusagen vielleicht mal ein Beispiel erklären, wie sich ein Forscher entscheidet, und ich sage Forscher dazu, nicht Data Scientist, sozusagen das Problem zu lösen, Bilderkennung. Und ich glaube, ihr habt da auch eine spannende Anwendung bei Merantix, mit der ihr arbeitet. Wie entscheidet ihr euch für die Struktur eines neuronalen Netzes? Wie lernt das dann eigentlich im Trainingsprozess und wie testet ihr, dass das auch funktioniert? Also vielleicht von vorne nach hinten.

Rasmus Rothe: Genau. Also eine Anwendung, an der wir bei Merantix arbeiten, ist die Erkennung von Tumoren in radiologischen Bildern. Und das heißt, wir haben jetzt eben einen Trainingsdatensatz. Das heißt, wir haben von den medizinischen Einrichtungen Bilder erhalten, wo auf manchen Tumore sind und auf manchen sind keine Tumore. Und unser Ziel ist jetzt, einem neuronalen Netzwerk dies beizubringen. Das heißt, ein neuronales Netzwerk so trainieren, und da komme ich gleich zu, dass es in der Lage ist, wenn man ihm ein neues Bild gibt, ein neues radiologisches Bild, dass das neuronale Netzwerk selber entscheiden kann, ist da jetzt ein Tumor oder ist da kein Tumor. Das machen wir. indem wir dieses neuronale Netzwerk trainieren. Das heißt, wir haben jetzt einen ziemlich großen Datensatz im Bereich der Millionen an radiologischen Bildern aufgebaut.

Erik Pfannmöller: Und auf jedem dieser Bilder ist dann so ein roter Kreis. Muss ich mir das vorstellen wie ein roter Kreis, wie das ist ein Tumor oder nur auf diesem Bild ist irgendwo ein Tumor drauf? Also was ist der Dateninput für eure Tumorerkennung?

Rasmus Rothe: Genau. Wir wissen sogar in der Tat ganz genau, wo der Tumor im Bild ist, weil das hat nochmal gewisse Vorteile. Aber wir können es jetzt auch mal kurz vereinfachen, weil im Prinzip reicht es schon, wenn man einfach weiß, ist auf diesem Bild ein Tumor oder ist auf diesem Bild kein Tumor. Das heißt, wir haben jetzt, sagen wir mal, eine Million Bilder. Auf 500.000 ist ein Tumor und auf 500.000 ist kein Tumor. Und wir wissen für jeden dieser Bilder, ist da der Tumor oder ist der nicht der Tumor. Und jetzt nutzen wir diese Bilder und zeigen die neuronalen Netzwerke und lassen die neuronalen Netzwerke davon lernen. Und das funktioniert wie folgt. Dieses neuronale Netzwerk, wir hatten ja vorhin davon gesprochen, dass es eben sehr, sehr viele Parameter gibt, also Werte, die im Prinzip genau beschreiben, wie stark die Verbindungen zwischen zwei Neuronen sind. Die sind am Anfang alle zufällig initialisiert. Das heißt, am Anfang weiß das neuronale Netzwerk nichts und ist komplett zufällig verknotet und weiß natürlich auch nichts über Radiologie oder irgendein anderes Problem.

Erik Pfannmöller: Nur, dass wir uns das vorstellen können, wie ungefähr sieht das neuronale Netzwerk aus? Wie viele Neuronen hat das, mit denen man so eine Bilderkennung machen würde?

Rasmus Rothe: Unser neuronales Netzwerk hat zwischen 100 und 200 Millionen Parametern.

Erik Pfannmöller: Okay, also schon ziemlich groß. Und du sagst, die Verbindungen der Neuronen sind zufällig initialisiert. Das heißt, einfach ganz randomisiert, wie ein Kind, das auf die Welt kommt und eigentlich gar nichts weiß. Und wie lernt das jetzt?

Rasmus Rothe: Genau, und dann geht's los. Dann nimmt man dieses randomisierte neuronale Netzwerk und tut die ersten Bilder rein, von der eine Million Bilder, von denen ich vorhin erwähnt hatte. Hinten aus dem neuronalen Netzwerk kommt jetzt eine Information raus, ist das ein Tumor oder ist das kein Tumor. Bei den ersten Bildern wird es ja so sein, da das Netzwerk noch nichts weiß, dass da irgendwas Zufälliges rauskommt. Manchmal ist es vielleicht richtig, manchmal ist es vielleicht falsch, aber es ist komplett zufällig. Dann gibt es diesen Lernprozess, Backpropagation nennt man das. Dann geht man im Prinzip vom Output-Wert, also dem, ist es ein Tumor oder nicht, kein Tumor, rückwärts im neuronalen Netzwerk, zurück zum Bild sozusagen und versucht eben diese Parameter so anzupassen, dass die Aussage etwas richtiger wird. Also wenn beim ersten Bild kein Tumor ist auf dem Bild, aber der Output aktuell sagt, 90% wahrscheinlich, dass es ein Tumor ist, dann versucht man diese Wahrscheinlichkeit ein bisschen runterzubringen. Vielleicht nicht direkt auf 0%, aber sagen wir mal vielleicht auf 85%.

Erik Pfannmöller: Das ist doch so eine Art Fehlerminimierung, oder?

Rasmus Rothe: Genau, im Prinzip versucht man, den Fehler hinten zu minimieren. Man setzt den Fehler nicht direkt auf Null, weil dann würde man zu sehr hin und her springen, sondern man passt es halt eben nur leicht an und zeigt dann einfach das nächste Bild und passt es da auch wieder leicht an und das nächste Bild. Und so macht man viele Millionen Iterationen, bis eben dieses neuronale Netzwerk den Fehler richtig minimiert hat und von dieser einer Million Bildern da relativ gut darin ist, das richtig vorherzusagen.

Erik Pfannmöller: Wenn ich mir eine lineare Regression vorstelle, kennt jeder, im Excel hat man schon mal gemacht, man nimmt sich drei Punkte und sagt, lieber Excel, bitte mache mir die Gerade, die diese Punkte am besten approximiert. Da gibt es den Algorithmus, der den Abstand der Punkte zur Gerade minimiert. Das heißt, man findet die ideale Gerade. In diesem Fall sind wir in einem zweidimensionalen Raum. Das heißt, die Gerade hat einen Anstieg und einen Achsenabschnitt. Das ist ja eine Formel der Art Fehlerminimierung. Und dieser Algorithmus tastet sich immer näher ran und er rechnet immer, wie groß ist mein Fehler. Kann ich mir das genauso vorstellen bei einem neuronalen Netz, nur dass wir halt statt zwei Dimensionen auf einmal 100 Millionen Dimensionen haben und es deswegen schwieriger ist, diese Art Backpropagation, also rückwärts den Fehler minimieren.

Rasmus Rothe: Genau, das ist richtig. Weil wir eben jetzt zum Beispiel in unserem Fall 100 Millionen Parameter haben, ist es eben nicht so einfach, genau zu verstehen, welche von diesen 100 Millionen Parametern muss ich anpassen, damit meine Tumorerkennung funktioniert. Im Prinzip muss ich nämlich alle 100 Millionen Parameter anpassen und die hängen halt auch eben alle miteinander zusammen. Das heißt, wenn ich jetzt einen Parameter irgendwo im neuronalen Netzwerk anpasse, hat das einen Einfluss auf meine Vorhersage. Und wenn ich einen anderen anpasse, auch. Das heißt, die hängen ja alle miteinander zusammen und beeinflussen sich gegenseitig. Und deswegen ist dieser Optimierungsprozess.

Erik Pfannmöller: Das ist so wie, dass man aus dem Gehirn nicht einfach ein Neuron rausschneiden kann. Aus unserem Gehirn wären mal 10 Milliarden Neuronen und die wiederum haben noch viel mehr Verbindungen miteinander. Und man kann nicht einfach ein Neuron rausnehmen und sagen, das ist dafür verantwortlich. Deswegen sagt ja auch die Gehirnforschung, wir können nur grobe Areale, die Aktivität messen. Aber wenn die Gehirnforschung exakt wissen würde, welches Neuron wofür verantwortlich ist, davon sind wir ganz weit weg. Das ist also so eine Art Blackbox, beziehungsweise kann man nicht genau sagen, welches Neuron welcher Parameter wofür verantwortlich ist. Dazu kommen wir später nochmal. Wir haben gerade gelernt, Deep Learning heißt verschiedene Layer. Es gibt versteckte Layer, sogenannte Hidden Layer und der Prozess geht eigentlich rückwärts. Nämlich mit jedem Bit, das wir hinzufügen, versucht der Backpropagation-Algorithmus, das ist eine Art Fehlerminimierungssache, mit jedem weiteren Bit den Fehler zu minimieren oder anders gesagt die Wahrscheinlichkeit richtig zu legen, nämlich ist ein Tumor auf dem Radiologie-Bit oder nicht, zu verbessern. Wie sieht man dann Erfolge und wie testet man eigentlich, ob das funktioniert?

Rasmus Rothe: Man hat jetzt diese eine Million Bilder, auf denen man diesen Trainingsprozess durchgeführt hat. Jetzt haben wir noch zusätzliche Bilder, die der Algorithmus noch nie gesehen hat. Das ist das sogenannte Test-Set, vielleicht nochmal 100.000 Bilder zusätzlich. Und der Algorithmus hat während dem Trainingsprozess diese Bilder nie gesehen. Das heißt, die sehen natürlich leicht anders aus. Es ist nicht ganz klar, ob er jetzt auf diesen 100.000 Bildern auch gute Performance sieht.

Erik Pfannmöller: Aber ihr wisst, ob da ein Tumor drauf ist.

Rasmus Rothe: Aber wir wissen auch, ob darauf ein Tumor ist. Und das heißt, was wir jetzt machen, wir nehmen jetzt diese 100.000 Bilder, füttern die durch das neuronale Netzwerk und schauen dann, wie oft das neuronale Netzwerk richtig ist. Und das ist unsere Art und Weise zu messen, wie gut die Performance von dem System ist.

Erik Pfannmöller: Das ist spannend. Für unsere interessierten Hörer, bei der letzten Folge haben wir über AI im E-Commerce gesprochen. Da haben wir auch, witzigerweise, das Thema Trainingsdaten und Testdaten gehabt. Das heißt, das ist ja ein Schema, das wir immer wieder hören im Bereich AI und Machine Learning, weil man natürlich den Algorithmus einerseits trainieren muss, man muss ihm Daten geben. Aus diesen Daten macht er Vorhersagen? Und dann muss ich ja überprüfen, indem ich die Realwelt schon kenne, wie gut er ist. Und dann kommt auch so was raus wie die Accuracy oder die Wahrscheinlichkeit, dass er richtig liegt. Was messt ihr da? Und wie versucht ihr dann, den Algorithmus zu verbessern? Denn ihr habt ja die Daten, die sind ja immer noch die gleichen. Also ich sage jetzt, wir haben eine Million Radiologie-Bilder. Es ist ja nicht so, dass man das neuronale Netzwerk macht und die einmal durchschießt und es ist fertig. Sondern wie ist dann der Iterationsprozess des neuronalen Netzwerks, sodass man ein besseres Ergebnis hat? Und wie messt ihr das Ergebnis?

Rasmus Rothe: Wir haben sogar mehrere Testsets, fünf, sechs Testsets. Manche von denen nutzen wir eben relativ häufig und schauen uns dann ganz genau eben die Ergebnisse an und schauen uns dann, was wir verbessern können. Also Beispiel, wir haben jetzt auf diesem ersten Testset mit 100.000 Bildern getestet und haben gemerkt, dass wir sehr, sehr viele große Tumore verpassen, weil die einfach sehr untypisch aussehen und sehr unterschiedlich. Dann gehen wir wieder zurück und organisieren uns mehr Bilder, wo wir große Tumore drauf haben, sodass der Algorithmus, wenn er trainiert, davon mehr sieht und sozusagen daran sich mehr gewöhnt hat und deswegen bei diesen Arten von Bildern besser wird.

Erik Pfannmöller: Ihr besorgt euch also mehr und oder andere Testdaten. Eine Dimension. Verstanden. Damit ihr zum Schluss auch die großen Tumore besser erkennen könnt, weil der Algorithmus, wie Menschen, die das lernen, die müssen Dinge auch einfach mal gemacht haben. Wenn zu wenig große Tumore drin waren, kann er das nicht gut erkennen. Habe ich verstanden. Genau. Mach dir noch andere Sachen.

Rasmus Rothe: Was wir gerade gesagt haben, ist eben zu sagen, man verändert den Trainingsdatensatz. Die andere Art und Weise, was zu verbessern ist natürlich, dass man selber am neuronalen Netzwerk schraubt. Dass man sagt, okay, vielleicht können wir das neuronale

Erik Pfannmöller: Das ist aber nicht wie Schrauben bei einem Auto, wenn man ein Rad dran schraubt.

Rasmus Rothe: Genau, es ist alles am Computer. Dass man dann eben sagt, okay, wir haben jetzt das neuronale Netzwerk, vielleicht müssen wir das größer machen. Weil wenn es größer ist, hat es mehr Parameter, mehr Neuronen und kann dann auch noch komplexere Zusammenhänge lernen.

Erik Pfannmöller: Oder auch anders. Man könnte es ja auch kleiner machen.

Rasmus Rothe: Genau, man kann es auch kleiner machen. Das ist eben auch was, womit man natürlich viel rumspielt, dass man entweder die Größe des neuronalen Netzwerkes verändert oder wie es an sich strukturiert ist.

Erik Pfannmöller: Und dieser Trainingsprozess, ich komme da gleich nochmal drauf zurück, aber ich möchte das gerne nochmal kurz durchsprechen. Da gibt es ja GPUs, Grafikprozessoren, die das besonders schnell berechnen können. Ich stelle mir das so vor. Und bitte korrigiere mich, du musst jedes Röntgenbild durch den Algorithmus jagen und dann musst du ja was berechnen für jedes einzelne Bild. Das ist recht aufwendig. Du musst dir 100 Millionen Parameter anpassen für jedes Bild und das Ganze mal eine Million Bilder, was ziemlich viele Berechnungen sind. Wie lange dauert so ein Durchlauf, so ein Trainingsprozess?

Rasmus Rothe: Aktuell brauchen wir mehrere Stunden dafür. Es ist jetzt nicht so, dass wir jetzt irgendwie vier Wochen warten müssen. Es ist aber auch nicht so, dass man innerhalb von zwei Minuten das Ergebnis hat. Das funktioniert relativ gut. Also was wir viel machen, ist, dass wir abends Experimente starten und dann sind am nächsten Morgen die Ergebnisse da.

Erik Pfannmöller: Das ist interessant. Wir hatten vorhin gesprochen, warum das jetzt gerade so ein Thema ist. Natürlich haben wir jetzt schnellere Computer und Grafikprozesse, die das machen können und vor allem auch viel mehr Berechnungen. Du hast vorhin gesagt, wir hatten zu wenig Daten vor 30, 40 Jahren, in den 80ern. Jetzt habt ihr Millionenbilder, die digital vorliegen, die Neuron-Netzwerke sind größer, man kann mehr Parameter berechnen. Das heißt, die Rechenkraft ist ein wichtiger Faktor. Wenn du sagst, abends starten, morgens die Ergebnisse sehen, ist das dann so ein bisschen Try and Error im Sinne von, abends überlegt ihr euch, ich könnte heute noch einen Layer hinzufügen. fügen in meiner Rolle das Netz oder hier was rausschneiden und dann Klick und dann gucken wir, was das Ergebnis sagt. Die Vorhersagewahrscheinlichkeit.

Rasmus Rothe: Das ist ein bisschen vereinfacht. Ich glaube, es gibt halt eben hunderte Richtungen im Prinzip, in die man eben Sachen verändern kann. Ja, man kann was an den Daten verändern. Da gibt es auch viele verschiedene Arten und Weisen, die Daten aufzubereiten. Man kann an dem Netz viel ändern. Man kann, wie der Trainingsprozess abläuft, Sachen verändern. Man kann, wie man misst, verändern. Man kann unterschiedliche Probleme lernen, die ähnlich sind. Also der Teufel ist da immer im Detail.

Erik Pfannmöller: Und deswegen gibt es ja auch solche Profis, die sich Data Scientists nennen. Und Science in diesem Fall ist wirklich eine Wissenschaft. Wenn ich mir das vorstelle, so ein neuronales Netzwerk, 100 Millionen Verbindungen, eine Million Daten. Ich kann ja überall schrauben, um überhaupt ein Ergebnis zu finden. Und natürlich weiß man nie, was man verändern muss, damit das Ergebnis noch besser wird. Also von alleine funktioniert es nicht, so out of the box.

Rasmus Rothe: Nee, leider nicht.

Erik Pfannmöller: Sehr gut, das immer noch nicht. Vielleicht in 20 Jahren, wenn die Algorithmen und Maschinen und Daten noch besser sind.

Rasmus Rothe: Ist aber übrigens ein aktives Forschungsfeld. Algorithmen, die neuronale Netzwerke optimieren. Da wird gerade recht viel dran geforscht, weil natürlich die Forscher auch ein bisschen merken, dass es so ein sehr viel Optimierung ist, so ein Trial and Error. Und sich Leute gefragt haben, kann man das auch lernen? Also sehr, sehr spannendes Forschungsfeld.

Erik Pfannmöller: Wie viel Prozent der Tumore entdeckt ihr? Seid ihr besser als der Mensch?

Rasmus Rothe: Wir sind in bestimmten Bereichen besser als der Mensch, ja.

Erik Pfannmöller: Besser als der Mensch heißt, es gibt ja immer zwei Fehler. Oh, da bin ich jetzt gar nicht sicher, da musst du als Profi mich korrigieren. Es gibt den Fehler, wenn man fälschlicherweise einen Tumor erkennt. Das heißt, einer, der gar nicht da ist und die Maschine sagt, hey, da ist aber einer. Und es gibt den Fehler, wo man einen Tumor, der da ist, übersieht, also fälschlicherweise negativ rausgibt. Wenn ihr den Algorithmus trainiert, worauf legt ihr mehr Wert und welcher Fehler ist wichtiger für euch? Jetzt im Beispiel Tumorerkennung.

Rasmus Rothe: Genau, ich glaube im Bereich Tumorerkennung ist es eben sehr, sehr wichtig, dass man keinen Tumor übersieht. Weil im Endeffekt ist ja unsere Software immer noch unterstützend für den Arzt. Das heißt, selbst wenn wir an einer Stelle was anzeigen, wo dann doch kein Tumor ist, schaut der Arzt immer nochmal drüber und merkt das dann im Zweifel. Wenn wir allerdings was übersehen, ist es halt nicht so gut, weil dann kann es natürlich auch eher sein, dass der Arzt den Tumor auch übersieht.

Erik Pfannmöller: Das heißt, ihr trainiert euren Algorithmus eher in die Richtung, lieber mal ein Falsch-Positiv zu geben als ein Falsch-Negativ. Das ist wiederum, du hast vorhin gesagt, eine der 100 Dimensionen, die man verändern kann. Alleine die Zielfunktion des Algorithmus, nämlich lieber fälschlicherweise positiv als fälschlicherweise negativ, wenn der Algorithmus mal falsch liegt, ist auch eine wichtige Sache. Du hast gerade gesagt, den Arzt unterstützen. Das heißt, es geht nicht darum, den Arzt zu ersetzen, sondern ihm die Analyse zu vereinfachen. Verlassen sich die Ärzte dann darauf?

Rasmus Rothe: Ja, ich glaube zurzeit, also zum Beispiel in dem Bereich Brustkrebserkennung, in dem wir auch aktiv sind, werden eben zurzeit sehr, sehr viele Tumore übersehen, weil die Ärzte sehr, sehr viele Diagnosen pro Tag stellen müssen, sehr, sehr viele Bilder anschauen und es auch visuell, kognitiv gar nicht so einfach ist, als Mensch da nichts zu übersehen. Und das heißt, den Arzt da zu unterstützen, eben weniger zu übersehen und eine Hilfe zu sein, wird da sehr gut angenommen. Dazu kommt ja auch, dass wir gerade in ländlichen Regionen, auch in Deutschland, einen ziemlichen Radiologenmangel haben, der die nächsten Jahre auch nicht besser wird. Das heißt, alles, was da im Prinzip hilft, zu unterstützen, ist da sehr gerne gesehen.

Erik Pfannmöller: Das ist spannend. Das heißt, ich sehe den Trend, dass man sozusagen anfängt am Anfang, kann der Algorithmus überhaupt funktionieren? Danach nehmen die Benutzer es zur Augmentation, also zur Hilfe, zur Unterstützung, einfach um effizienter zu werden. Und natürlich verlässt sich heutzutage, würde ich zumindest annehmen, Kein Radiologe komplett auf die Diagnose eines Algorithmus. Aber irgendwann kommt auch der Punkt, wo man sagt, ist das nicht besser, als was ich es selbst kann? Und sollte ich nicht eigentlich blind, und mit blind meine ich jetzt wirklich einfach auf die Blackbox-Algorithmus vertrauen, weil der Algorithmus besser kann? Manchmal vergleiche ich das mit Navigationssystemen in Autos. Vor zehn Jahren hat man gesagt, ich bin klüger als das Navigationssystem, weil ich die Abkürzung kenne. Und heutzutage bin ich so weit, dass ich auf das Navigationssystem von Google Maps vertraue, weil ich sage, die haben die Echtzeitdaten und die wissen einfach mehr als ich. Und das muss die bessere Route sein im Durchschnitt, weil ich als Mensch das gar nicht überblicken kann. Wie würdest du das sehen in der Evolution der Markteinnahme eines Algorithmus oder neuer Technologie?

Rasmus Rothe: Ich glaube schon, dass es irgendwann dazu kommen wird, dass Teile auch komplett automatisiert werden, weil man einfach auch klar nachgewiesen hat, dass der Algorithmus eben im Zweifel bessere Entscheidungen trifft. Und dann ist es ja auch aus Patientensicht die sicherere Variante. Wenn ich als Mensch zum Arzt gehe und die Wahl habe, lasse ich mich von dem Menschen oder von der Maschine klassifizieren und die Maschine übersieht nur halb so viele Tumore, da bin ich mir aber sicher, dass eben viele Leute dann sagen würden, okay, dann nehme ich lieber diese Variante.

Erik Pfannmöller: Das ist eine interessante Aussage. Da stimmen wir interessanterweise überein. Das ist wie mit selbstfahrenden Autos, wo man sich komplett auf den Autopiloten verlässt. Wenn irgendwann der Autopilot im Durchschnitt mehr Millionen Kilometer ohne tödliche Opfer fährt, dann wird irgendwann der Mut der Gesellschaft umschwenken. auf. eigentlich ist das Selbstfahren gefährlicher und damit gefährdet man sich und andere genauso wie in zehn Jahren vielleicht. Oder wann auch immer, je nachdem, wie schnell ihr so erfolgreich seid, werden wir sagen, liebe Radiologe, ich vertraue nicht dir, ich vertraue dem Algorithmus, weil der das im Durchschnitt einfach besser macht.

Rasmus Rothe: Genau, ich meine, da sind wir natürlich schon noch ein bisschen von entfernt, aber ich glaube, in vielen Bereichen wird das auf jeden Fall irgendwann kommen.

Erik Pfannmöller: Wie viele Millionen Bilder braucht man, damit man vielleicht da hinkommt? Wie intensiv muss der Algorithmus lernen? Beim selbstfahrenden Auto sind schon hunderte Millionen Kilometer an Sensordaten, Laserdaten, Videokameradaten in den neuronalen Netzen. Es wird immer weiter geforscht und wir sind immer noch nicht da. Das hängt damit zusammen, dass Autofahren einfach so komplex ist. Wir hatten vorhin über die Verbindung von Neuronen gesprochen. Autofahren ist so schwierig, dass man so eine große Masse an Daten braucht. Gibt es denn eine Verbindung zwischen der Komplexität einer Aufgabe und den Trainingsdaten, die ich brauche?

Rasmus Rothe: Je komplexer die Aufgabe ist, desto mehr Trainingsdaten braucht man auch. Das ist ja auch so ein bisschen für den Mensch, wenn der Mensch eine neue Aufgabe lernen möchte. Wenn die Aufgabe schwieriger ist, braucht der Mensch eben auch länger, um diese zu lernen, braucht mehr Beispiele und so. Ähnlich kann man sich das bei der Maschine auch vorstellen.

Erik Pfannmöller: Wie meine Kinder. Die Ironie, das habe ich festgestellt, erst mit fünf oder sechs Jahren lernen. Das heißt Sprache lernen im Sinne von sprechen. Einfache Sätze ist einfach, lernt man früh. Und wir haben dann aber festgestellt, dass wenn wir Witze machen, dass Kinder, die in einem bestimmten Alter noch nicht verstehen und sie müssen erst, weil es eben so schwierig ist, Ironie herauszufinden, also das mit Stimmlage zu tun, mit der Situation, mit wie ist das Gesicht, während jemand das macht, das ist sozusagen wie so eine Art Parameter. Ironie herauszufinden ist was sehr Schwieriges für Kinder und deswegen brauchen sie einfach lange, Schrägstrich, viele Trainingsdaten, viel Erfahrung, um das zu machen. Das heißt, du sagst, es gibt auch diesen Zusammenhang?

Rasmus Rothe: Es ist auch nicht nur die reine Anzahl wichtig, sondern eben auch, wie relevant die jeweiligen Trainingsbeispiele sind. Also zum Beispiel, wenn man jetzt das Thema autonomes Fahren sich nimmt und sagt, man möchte im Auto Autofahren beibringen, dann geht es nicht nur darum, einfach mehr Kilometer Daten zu sammeln. Zum Beispiel Autobahnfahren hat der Algorithmus relativ schnell gelernt.

Erik Pfannmöller: Aber die Passstraße im Winter bei Schnee ist viel schwieriger.

Rasmus Rothe: Ist viel schwieriger. Das heißt, wenn man jetzt sagt, man möchte noch 100.000 Kilometer mehr an Daten sammeln, dann sammelt man lieber nicht Autobahn, sondern lieber eben die Passstraße bei Schnee, weil davon der Algorithmus noch viel mehr lernen kann, weil Autobahnfahren hat er schon nach ein paar hundert Kilometern gut gelernt.

Erik Pfannmöller: Und hier kommt wieder die Querverbindung zu dem, was du gerade gesagt hast. Mit dem Algorithmus konnte man große Tumore noch nicht erkennen. Da muss man mehr Trainingsdaten für große Tumore sammeln. Wir hatten das Thema autonomes Fahren schon in Folge Nummer drei. Wenn er transkursiert in der Folge mit Proscha, haben wir sehr viel über das Thema autonomes Fahren und auch KI im Auto gesprochen. Dann muss man schauen, was funktioniert nicht. Und da bin ich ganz ehrlich. Man muss auch sehen, die Algorithmen sind falsch am Anfang. Die müssen ja trainiert werden, so wie Kinder Menschen erst lernen müssen. Das ist ja wie unser Gehirn. Wir machen ja auch Fehler. Einen Ball zu fangen, lernt man auch erst nach tausendmal Ballfang üben. Und dann wird es schwieriger mit einem Bumerang fangen und mit Wind, ohne Wind schwierige Dinge werfen. So muss dann auch die Autoindustrie schauen, wo sind Fehler und dann ganz speziell die Daten nachjustieren, neue Trainingsdaten generieren, die diese Fälle abbilden, aber auch an der Struktur des Neuronalnetzes.

Rasmus Rothe: Ja, und witzigerweise macht das genau unsere Firma im Bereich autonomes Fahren. Also die nimmt die ganzen Daten, die von den autonomen Autos produziert werden. Das sind ja teils mehrere Terabyte pro Stunde. Das heißt, sobald man eben ein paar Autos auf der Straße hat, produziert man schon Dutzende oder Hunderte Terabyte an Daten pro Tag. Und unsere Software hilft im Prinzip daraus dann rauszufiltern, welche Daten eben relevant sind, die man speichern sollte, die man nutzen sollte, um die autonomen Fahrsysteme zu verbessern und welche man vielleicht eher wegschmeißen kann, weil sie nicht so relevant sind.

Erik Pfannmöller: Zum Beispiel eine gefährliche Situation ist ja so ein unprotected left turn. Also so ein links abbiegen, wo von vorne eigentlich noch grün ist. Das ist ja eine ganz gefährliche Situation, die aber auch nicht oft vorkommt, wo natürlich das Neuralenzwerk das lernen muss. Und gerade wie du sagst, die nächsten eine Million Kilometer auf der Autobahn, die sind recht einfach. Kennt man ja, Autofahren ist langweilig, lenken geradeaus, bisschen bremsen, aber wann darf ich beim Linksabbiegen noch vor dem Auto vorbei und wann muss ich warten auf das nächste Auto? Das stelle ich mir sehr schwierig vor und das ist ja auch, wenn ich sage, die Königsdisziplin im Straßenverkehr, weil das sind die schwierigen Dinge. Und die, sagst du, ihr habt eine Firma, die filtert diese Sachen raus.

Rasmus Rothe: Genau. Das ist natürlich eine riesige Hilfe, weil wenn der Entwickler sagt, er soll jetzt die Unprotected Left Turns verbessern, wird er nicht manuell durch hunderte Petabyte an Daten suchen, bis er eben noch 10.000 Unprotected Left Turns findet, sondern dann kann er mit unserer Software eben super schnell diese Daten hervorrufen, um die dann zu nutzen, um sein System zu verbessern und zu validieren.

Erik Pfannmöller: Und ihr benutzt neuronale Netzwerke, um diese Daten zu filtern.

Rasmus Rothe: Genau.

Erik Pfannmöller: Das heißt, hier ist es wiederum spannend, wie Deep Learning und neuronale Netze eigentlich das Training von neuronalen Netzen beeinflussen. Das heißt, ihr habt eine Firma, die nur die Daten aufbereitet für autonomes Fahren. Was nochmal die Komplexität vielleicht von autonomem Fahren hervorruft und auch sagt, wie schwierig das eigentlich ist, einer Maschine Dinge beizubringen. Das ist vielleicht ein guter Übergang zum Thema Explainability, Limitations, Recent Trends. Das heißt, wenn ich so ein großes neuronales Netzwerk habe, dann haben wir ja schon oft gehört, die Blackbox, wir müssen das erklären. Muss man das erklären? Können?

Rasmus Rothe: Ich glaube, das ist sehr schwierig, weil wir geben dem neuronalen Netzwerk ja die Aufgabe, ein sehr komplexes Problem zu lernen. Also zum Beispiel eben Tumore zu erkennen, wo selbst Menschen daran oft scheitern oder im Straßenpark ja fehlerfrei zu fahren, wo eben auch Menschen viele Fehler machen. Und dann kann man eben nicht erwarten, dass das neuronale Netzwerk so simpel ist, dass man in drei Sätzen erklären kann, wie Autofahren funktioniert oder wie Tumorerkennung funktioniert. Dieses neuronale Netzwerk ist eben sehr, sehr komplex, muss sehr komplexe Sachen lernen und deswegen ist es eben auch sehr, sehr schwierig, dann das sehr, sehr einfach zu erklären. Deswegen ist es schon eine gewisse Art von Blackbox und man wird nie in der Lage sein, die hundertprozentig zu erklären, aber man kann natürlich schon mit gewissen Methoden oder indem man die Netzwerke auf eine bestimmte Art und Weise strukturiert, ja gewisse Insights, sage ich mal, bekommen von den Netzen.

Erik Pfannmöller: Ist das nicht auch systeminherent? Also wenn ich die Regeln beschreiben könnte, wie genau ein Tumor aussieht, und zwar wirklich regelbasiert so und so und so, jede Verbindung beschreiben zwischen den Neuronen, dann bräuchte ich ja kein neuronales Netzwerk. Genau, das neuronale Netzwerk gibt es ja, weil ich mit der Backpropagation, also von hinten nach vorne die Parameter erst lerne, die Menschen gar nicht beschreiben können, weil es ja, wie du sagst, 100 Millionen Parameter, da müsste ich ja 100 Millionen Erklärungen machen. Ist das nicht so systeminherent, dass es eine Blackbox sein muss, denn das ist das Problem, das es löst? Wie versucht man dann diese riesengroße Blackbox, was da abläuft, eigentlich zu erklären? Weil natürlich haben die Menschen ein Bedürfnis nach Erklärungen.

Rasmus Rothe: Ich meine, was man jetzt mittlerweile macht, ist, dass man die neuronalen Netzwerke schon so designt, dass sie etwas leichter erklärbar sind. Also zum Beispiel autonomes Fahren, dass man selbst, wenn man dem neuronalen Netzwerk beibringt, direkt vorzuschlagen von den Sensordaten, wo lang man fahren soll, dass man mittendrin noch ausgibt, also in der Mitte von dem neuronalen Netzwerk noch ausgibt, welche Objekte erkannt wurden. Dann ist es nämlich so, dass wenn man dieses neuronale Netzwerk einsetzt und irgendwas nicht funktioniert, in der Mitte vom neuronalen Netzwerk gucken kann und gucken kann, okay, hat es denn so ein Zwischenergebnis, hat es denn den Fußgänger oder das Auto, was von vorne kommt, wirklich erkannt oder nicht? Und wenn es das nicht erkannt hat, dann ist das vielleicht auch der Grund, wieso hinten eine falsche Entscheidung getroffen wurde.

Erik Pfannmöller: Also muss man ja mehrere neuronale Netzwerke sozusagen, das war ja ein Output im Sinne von habe Auto erkannt, habe Mensch erkannt, habe Tier erkannt, das ist ja ein Output, sind ja sozusagen mehrere Stufen von neuronalen Netzwerken, die dann sozusagen ein Output führt zu einem Input, zu einem Neuen. Das heißt, besteht denn ein großes neuronales Netzwerk aus vielen kleinen Netzwerken?

Rasmus Rothe: Das kann man so denken, ja. Im Prinzip ist ein großes und mehrere kleine und man optimiert das ganze neuronale Netzwerk als eines mit Backpropagation, aber man hat halt viele kleine Subnetze in diesem großen.

Erik Pfannmöller: Das ist sehr spannend. Und dann gibt es auch so ganz fancy Begriffe wie Convolutional Neural Networks, Recurring Neural Networks, Layered Neural Networks. Das sind aber dann Spezialfälle von wie man neuronale Netzwerke aufeinander aufsetzt oder miteinander kombiniert. Ich glaube, das braucht man gar nicht verstehen. Für den Gemeinhörer reicht das schon aus, wenn man einfach weiß, wie es im Prinzip funktioniert. Das heißt, Explainability zusammengefasst ist systeminherent und man versucht das zu lösen mit Zwischenergebnissen. Was sind eigentlich sozusagen Limitationen von neuronalen Netzwerken? Ist es jetzt das Allheilmittel oder gibt es da auch Dinge, wo du siehst, wo sie vielleicht nicht richtig sind, was uns dann führt zu, wo ist die aktuelle Forschung?

Rasmus Rothe: Es gibt viele Probleme, wo man andere Methoden vom maschinellen Lernen sehr gut einsetzen kann, wo man eben keine neuronalen Netzwerke zwangsläufig braucht. Da sollte man immer sehr realistisch sein. Also bei Bilddaten oder bei Sprachdaten, da sind neuronale Netzwerke sehr, sehr gut verwendbar. Aber wenn man jetzt zum Beispiel Daten in einem Excel-artigen Format hat, kann man eben oft auch mit simpleren Modellen, ob es jetzt Decision Trees oder andere statistische Verfahren sind, genauso gut oder teils sogar bessere Ergebnisse erlangen. Ich glaube, bei den neuronalen Netzwerken ist es eben so, wenn man genug Daten hat, funktionieren sie immer sehr, sehr gut, aber eben auch noch nicht perfekt. Also es ist immer autonomes Fahren, Krebserkennung, auch alles noch nicht gelöst. Und deswegen wird da gerade schon noch sehr, sehr viel daran geforscht, wie kann man die Netze besser designen, wie kann man von weniger Trainingsdaten lernen. Auch ein riesiger Trend, weil in manchen Anwendungen hat man ja gar nicht so viele Daten. Dass man eben nicht erst 10 Millionen Bilder von Tumoren sich aufbereiten muss, sondern dass man vielleicht auch nur von einem Hundertstel dieser Daten lernen kann. Weil der Mensch, der Arzt, der schaut ja auch nicht erst 100 Millionen Bilder an, bis er als Arzt zugelassen ist, sondern der kann schon mit viel weniger Daten, die er während seiner Ausbildung sieht, ein ziemlich guter Arzt werden. Und da versucht man, die Maschinen gerade auch hinzubekommen. Dieses ganze Feld nennt man Zero-Shot oder Few-Shot-Learning. Und das ist gerade sehr, sehr trendenant. Anderes Feld, was auch sehr spannend ist, ist so das ganze Thema Meta-Learning, weil zurzeit ist es so, dass man in der KI-Forschung diese neuronalen Netzwerke immer für eine spezifische Anwendung trainiert. Das heißt, wir haben jetzt ein neuronales Netzwerk, was wir für Tumorerkennung verwenden, wir haben ein neuronales Netzwerk, was wir für autonomes Fahren verwenden und das sind zwei komplett verschiedene Netze und der eine kann nur das eine und der andere kann nur das andere und Als Mensch funktioniert man ja anders. Als Mensch hat man eben nur ein Gehirn, ein neuronales Netzwerk.

Erik Pfannmöller: Aber ein riesengroßes.

Rasmus Rothe: Ein sehr großes, was aber sehr, sehr viele verschiedene Aufgaben lösen kann. Und die Frage ist halt, kann man mehrere Probleme in einem Netzwerk lernen und dann bei allen Problemen besser werden? Also kann ein neuronales Netzwerk, was Tumore erkennt und Auto fahren kann, ist das vielleicht besser als ein Netz, was nur eins der beiden Probleme löst? Und daran wird auch gerade sehr viel geforscht.

Erik Pfannmöller: Das ist die Forschung an der Artificial General Intelligence. Es gibt so die Narrow Intelligence, das ist das, wenn man eine Sache ganz, ganz gut kann, Tumorerkennung, Autofahren, Spamfilter, jeder einzelne Algorithmus sozusagen, aber eine generelle Intelligenz, wenn man sagt, wie Menschen, die ja auch verschiedene Sachen können, wir haben ein großes neuronales Netzwerk im Kopf, das aus vielen, vielen Subnetzen für Sehen, Hören, Sprechen, Bewegen, alle möglichen Körperfunktionen besteht. Das zusammenzufassen, sagst du, nennt sich Meta-Learning als Trend. Und das versuchen natürlich auch Forscher, denn es ist die coolere künstliche Intelligenz und der bessere Algorithmus, wenn man mehr Sachen kann. Und du sagst, vielleicht kann das System, das sowohl Auto fahren als auch Tumorerkennung kann, in Summe beides besser.

Rasmus Rothe: Genau.

Erik Pfannmöller: Dann ist 1 plus 1 3. Hoffentlich, ja. Deswegen sind wir Menschen so intelligent geworden. Vielleicht ist das gerade der Schlüssel zu unserer evolutionären Entwicklung. Vielleicht zum Abschluss ein Thema, was ich letztens gehört habe oder was in den Medien immer wieder drin ist, das Thema Deepfake. Was ist das eigentlich und warum ist das eine Gefahr für uns?

Rasmus Rothe: Seit ein paar Jahren gibt es die sogenannten Generative Adversarial Networks, kurz GANs, die eben in der Lage sind, entweder bestehende Bilder oder Videos zu manipulieren. Also Deepfakes ist vor allem im Bereich Video sehr aktiv geworden, wo eben Videos genommen wurden, die manipuliert werden, wo zum Beispiel das Gesicht ausgetauscht wurde oder die Lippen sozusagen ersetzt wurden, dass man auf einmal zum Beispiel Obama etwas in den Mund gelegt hat, was eigentlich Trump gesagt hat und umgekehrt. Das ist natürlich ziemlich beeindruckend und teils auch etwas beängstigendes Thema, weil man eben so in der Lage ist, visuellen Content so zu manipulieren oder neu sich auszudenken, dass der Mensch eigentlich gar nicht mehr unterscheiden kann, ist das jetzt echt oder ist das jetzt Fake Content. Die Forschung da geht gerade sehr, sehr schnell voran. Also ich bin mir sicher, dass man in ein paar Jahren auch so weit ist, dass man wirklich Bilder und Videos erzeugen kann, wo es fürs menschliche Auge eben nicht mehr möglich ist zu erkennen, ist das jetzt echt oder ist das generierter Content.

Erik Pfannmöller: Und dann brauchen wir eine Rolle als Netz, das erkennt, ob Content echt oder nicht echt ist. An dem Punkt, Rasmus, das war ein super interessantes Gespräch. Ich hoffe an unsere Hörer, dass wir was beibringen konnten. zum Thema, was sind eigentlich neuronale Netzwerke, warum sind die so erfolgreich, gerade in letzter Zeit, weil es nämlich mehr Daten gibt, weil wir mehr Rechenkraft haben, weil es bessere Methoden gibt und wir tiefere, größere neuronale Netzwerke berechnen können. Wir haben darüber gesprochen, was das Thema Deep Learning ist und sozusagen haben von dem einzelnen Neuron, von gehe ich zum Strand oder nicht, bis hin zu 100 Millionen Parametern besprochen, wie diese trainiert werden können. Wir haben über Expendability, Blackbox und zum Schluss auch die Zukunft, was eigentlich die Limitationen von euren Netzen gesprochen. An dem Punkt, danke Rasmus für das Gespräch.

Rasmus Rothe: Danke für die Einladung, Erik.

Erik Pfannmöller: Gerne.