"""

Warum wird die Geschichte der KI über Wendepunkte erzählt?

Die Geschichte der künstlichen Intelligenz wird nicht als Folge einer einzigen Entdeckung verstanden, sondern als Summe von Sprüngen, die die Methode veränderten. Der Begriff hielt mit der Dartmouth-Konferenz 1956 Einzug in die Fachliteratur, und in den folgenden Jahren entstanden grundlegende Schwellen, die die Grenzen lernender Systeme definierten. Diese Meilensteine zeigen auch, auf welchen technischen Bausteinen heutige Sprachmodelle aufbauen.

Die ersten Meilensteine: Wie wurde die Mathematik des Lernens entwickelt?

1) Perceptron und das erste Modell neuronaler Netze

Als Frank Rosenblatt im Jahr 1958 das Perceptron vorstellte, wurde die Idee greifbar, dass eine Maschine aus Beispielen einfache Entscheidungsgrenzen lernen kann. Das einschichtige Modell war nicht so leistungsfähig wie heutige tiefe Netze; es machte den Ansatz künstlicher Neuronen jedoch zu einem umsetzbaren Ingenieursproblem.

2) Backpropagation machte mehrschichtige Netze praktikabel

Eine 1986 in Nature veröffentlichte Arbeit von David Rumelhart, Geoffrey Hinton und Ronald Williams verbreitete den Backpropagation-Algorithmus. Die Grundidee bestand darin, den Fehler vom Ende des Netzes zurück an den Anfang zu verteilen und so die Gewichte zu aktualisieren; damit wurden mehrschichtige Netze praktisch trainierbar.

3) Deep Blue: ein Schaufenster symbolischer Stärke

Der Deep Blue-Computer von IBM schlug 1997 den Schachweltmeister Garri Kasparow und machte künstliche Intelligenz in der Öffentlichkeit sichtbarer. Der Erfolg beruhte eher auf Rechenleistung und Suchstrategien als auf Deep Learning im heutigen Sinn; er zeigte dennoch, dass Maschinen in komplexen Entscheidungsräumen überlegen sein können.

Welche Sprünge führten von Deep Learning zum Transformer?

4) Mit AlexNet wurde Deep Learning zum Mainstream

Der Erfolg von AlexNet beim ImageNet-Wettbewerb 2012 beschleunigte das Interesse an Deep Learning in der Bilderkennung. Es wurde deutlich, dass mehrschichtige Netze in Kombination mit großen Datenmengen und leistungsfähiger Hardware Ergebnisse liefern können, die zuvor kaum erreichbar schienen.

5) AlphaGo brachte Reinforcement Learning in die breite Öffentlichkeit

Das AlphaGo-Programm von DeepMind besiegte 2016 den Go-Weltmeister Lee Sedol mit 4:1 und markierte damit eine neue Schwelle. Das Beispiel zeigte, dass die Verbindung aus tiefen neuronalen Netzen und Reinforcement Learning Systeme hervorbringen kann, die nicht nur Muster erkennen, sondern auch Strategien entwickeln.

6) Transformer-Architektur und Aufmerksamkeitsmechanismus

Die 2017 veröffentlichte Arbeit „Attention Is All You Need“ stellte die Transformer-Architektur vor. Der von Ashish Vaswani und einem Team bei Google entwickelte Ansatz setzte darauf, mithilfe eines Aufmerksamkeitsmechanismus zu bestimmen, welche Informationen in Sequenzen wichtig sind; später wurde er zur Grundlage der BERT- und GPT-Familien.

Wie sind daraus heutige Sprachmodelle entstanden?

Moderne große Sprachmodelle vereinen die vom Perceptron gestartete Idee der künstlichen neuronalen Netze, das durch Backpropagation ermöglichte Trainingsverfahren, die Skalenvorteile des Deep Learning und die Aufmerksamkeitsstruktur des Transformers unter einem Dach. Die Meilensteine aus Schach und Go trugen außerdem dazu bei, diese Systeme nicht nur als Datenverarbeiter, sondern als Strukturen zu verstehen, die innerhalb einer Aufgabe Strategien entwickeln können.

Auch die Verleihung des Nobelpreises für Physik 2024 an John Hopfield und Geoffrey Hinton machte die wissenschaftliche Bedeutung dieser historischen Linie erneut sichtbar. Kurz gesagt: Die heutigen generativen KI-Werkzeuge sind nicht plötzlich entstanden; sie wurden aus einer über Jahrzehnte gewachsenen Summe von Fortschritten im Bereich des maschinellen Lernens geboren.

"""