Was ist Deep Learning Artificial Intelligence und was haben Katzenbilder damit zu tun?

Andrew Ng, Associate Professor of Computer Science an der Stanford University, führte 2012 gemeinsam mit einem Google Team einen interessanten Versuch durch. Er fütterte eine Artificial Intelligence mit Millionen von zufälligen YouTube Standbildern und liess das System mittels Rückkopplungsschleifen selbst lernen. Das Team wollte dabei herausfinden, ob ihre Artificial Intelligence in der Lage ist, selbständig Muster in den Bildern zu erkennen.

Andrew Ng verwendete dazu ein sogenanntes neuronales Netzwerk. Die Entwicklung von neuronalen Netzwerken war ein wichtiger Schritt in der Entwicklung von Artificial Intelligence. Neu können solche Systeme immens grosse, unstrukturierte Datensätze verarbeiten, die nicht vorgängig mit Etiketten (“Labels”) versehen werden müssen. Früher mussten z.B. Orangen und Zitronen separat gelabelt werden, damit das Artificial Intelligence Modell “wusste”, welche Muster es suchen musste. Der von Andrew Ng neu entwickelte Ansatz “Deep Learning” kann auf dieses Labeling verzichten. Deep Learning Artificial Intelligence erkennt die Muster selbständig über die millionenfache Wiederholung und Selbst-Abstimmung durch einen Rückkopplungsprozess. Die erste Methode von Andrew Ng war noch nicht ganz "etikettenlos", da das neuronale Netzwerk bereits vortrainiert und auf beschrifteten Daten entwickelt wurde. Unbeschriftete Daten wurden daraufhin verwendet, um Features zu extrahieren und weitere Aufgaben, wie Bilderkennung, durchzuführen.

Deep Learning basiert auf künstlichen neuronalen Netzwerken, die inspiriert sind von biologischen Gehirnen. Diese Netzwerke bestehen aus vielen Schichten von künstlichen Neuronen, die miteinander verbunden sind.

Quelle: https://www.alexanderthamm.com/de/blog/deep-learning-in-der-praxis/

Um die Selbstlernfähigkeit von Artificial Intelligence zu ermöglichen, lassen die Entwickler ihre Deep Learning Netzwerke nach einem speziellen Ablauf trainieren.

Vorwärtsdurchlauf (Forward Pass)

Bei der Verarbeitung von Daten durchläuft eine Eingabe (z. B. ein Bild) das neuronale Netzwerk. Jedes Neuron führt eine mathematische Operation durch und gibt seine Ausgabe an die nächsten Schichten weiter.

Gewichtungen und Aktivierungsfunktionen

Jedes Neuron weist seinen Eingaben eine Gewichtung zu, die besagt, wie korrekt oder inkorrekt sie im Vergleich zur auszuführenden Aufgabe sind. Die finale Ausgabe wird dann durch die Summe dieser Gewichtungen bestimmt. Nach jeder mathematischen Operation erfolgt die Anwendung einer Aktivierungsfunktion, welche die Ausgabe des Neurons modifiziert.

Lernen durch Anpassung (Back propagation)

Beim Trainieren des neuronalen Netzwerks werden die Gewichtungen und Bias-Werte der Neuronen angepasst, um das gewünschte Verhalten zu erreichen. Dies geschieht durch die Verwendung von Back-Propagation-Algorithmen, bei denen der Fehler zwischen der berechneten Ausgabe und dem erwarteten Ergebnis rückwärts fortschreitend angepasst wird. Die Gewichtungen werden iterativ optimiert, um den Fehler zu minimieren.

Quelle: https://www.spektrum.de/news/maschinenlernen-deep-learning-macht-kuenstliche-intelligenz-praxistauglich/1220451

Lernen von Merkmalen

Das neuronale Netzwerk lernt, Merkmale aus den Daten zu extrahieren und Muster zu erkennen. Dies ermöglicht es der Artificial Intelligence, spezifische Aufgaben der Bilderkennung,  der natürlichen Sprachverarbeitung oder anderen Anwendungen zu bewältigen. Nach dem zielgerichteten Training kann die Artificial Intelligence für die Klassifizierung von Bildern bzw. die Generierung von Texten eingesetzt werden.

Merkmale eines Stoppschild-Bildes werden von den Neuronen “untersucht": seine achteckige Form, seine rote Farbe, die Buchstaben, Grösse und seine Beweglichkeit. Die Aufgabe des neuronalen Netzwerks besteht darin, festzustellen, ob es sich um ein Stoppschild handelt oder nicht. Die Artificial Intelligence erstellt eine statistische Vermutung, basierend auf den Gewichtungen. Das Artificial Intelligence Modell könnte dann beispielsweise zu 86% davon überzeugt sein, dass es sich um ein Stoppschild handelt, zu 7% davon, dass es sich um ein Kein-Vortritts-Schild handelt, und zu 5%, dass es sich um einen im Baum stecken gebliebenen Drachen handelt - der oben beschriebene Ablauf teilt dem neuronalen Netzwerk mit, ob es richtig liegt oder nicht.

Die Deep Learning Artificial Intelligence wird (vorerst) viele falsche Antworten liefern, während sie trainiert. Sie muss Millionen von Bildern sehen, bis die Gewichtungen der Neuronen-Eingaben so präzise abgestimmt sind, dass sie die Antwort “Stoppschild” praktisch jedes Mal richtig herausgibt - ob es regnet oder schneit oder ob das Stoppschild im Gegenlicht der untergehenden Sonne steht.

Ein Deep Learning System lernt durch das Verfahren, das oben als Trainieren bezeichnet wird. Die Rolle des Menschen dabei umfasst:

1. Datenbeschaffung: Der Mensch muss qualitativ hochwertige Trainingsdaten sammeln oder erstellen, die für das spezifische Problem relevant sind. Dies kann weiterhin das Etikettieren von Bildern, das Transkribieren von Texten oder das Sammeln von Sensorinformationen umfassen.
2. Auswahl von Architektur und Hyperparametern: Der Mensch wählt die Struktur des neuronalen Netzwerks, einschliesslich der Anzahl der Schichten und Neuronen, sowie die Hyperparameter, die das Lernverhalten beeinflussen.
3. Überwachung des Trainingsprozesses: Während des Trainings überwacht der Mensch den Fortschritt des Modells, passt Hyperparameter an und stoppt das Training, wenn das gewünschte Ergebnis erreicht ist.
4. Validierung und Test: Der Mensch verwendet separate Datensätze, um die Leistung des trainierten Modells zu überprüfen und sicherzustellen, dass es gut generalisiert.
5. Fine Tuning und Iteration: Basierend auf den Ergebnissen werden Anpassungen vorgenommen, das Modell fein abgestimmt und der Trainingsprozess iteriert, um die Leistung zu verbessern.

Der menschliche Einfluss ist entscheidend, da er die Qualität der Daten, die Wahl der Architektur und Hyperparameter, die Überwachung und das Fine Tuning des Modells beeinflusst, um sicherzustellen, dass es effektiv lernt und genaue Ergebnisse liefert.

Artificial Intelligence Expert:innen arbeiten daran, die Deep Learning Systeme immer weiter zu vergrössern. Ein erwachsenes menschliches Gehirn kann auf etwa 100 Billionen Verbindungen geschätzt werden. Die grössten Deep Learning Artificial Intelligences kommen auf mehrere Milliarden künstlicher Neuronen. Es besteht alleine in der Anzahl der Neuronen und in der damit verbundenen Anzahl von Schichten, also in ihrer Tiefe, sehr viel Raum für Optimierung.

Andrew Ng's Durchbruch bestand darin, die neuronalen Netzwerke zu vergrössern, die Schichten und Neuronen zu erhöhen und dann massive Datenmengen durch das System laufen zu lassen, um es zu selbständig zu trainieren. In Ng's Fall handelte es sich um Bilder aus 10 Millionen YouTube-Videos. Ng brachte das "deep" in Deep Learning ein, was all die verborgenen Schichten in diesen neuronalen Netzwerken beschreibt.