"""

Pourquoi l’histoire de l’IA se lit-elle à travers des ruptures ?

L’histoire de l’intelligence artificielle se raconte moins comme une découverte unique que comme une succession de bonds qui ont changé les méthodes. Le terme entre dans la littérature avec la conférence de Dartmouth en 1956, puis les années suivantes font apparaître les seuils fondamentaux qui ont défini les limites des systèmes apprenants. Ces jalons montrent aussi sur quels blocs techniques reposent les modèles de langage utilisés aujourd’hui.

Les premiers tournants : comment les mathématiques de l’apprentissage se sont construites

1) Le perceptron et le premier modèle de réseau de neurones

Lorsque Frank Rosenblatt présente le perceptron en 1958, l’idée qu’une machine puisse apprendre à partir d’exemples des frontières de décision simples devient concrète. Ce modèle à une seule couche n’avait pas la puissance des réseaux profonds actuels, mais il a transformé l’approche du neurone artificiel en problème d’ingénierie applicable.

2) La rétropropagation ouvre la voie aux réseaux multicouches

En 1986, l’article publié dans Nature par David Rumelhart, Geoffrey Hinton et Ronald Williams popularise l’algorithme de rétropropagation. L’idée de base consiste à faire circuler l’erreur de la fin du réseau vers son début afin de mettre à jour les poids ; les réseaux multicouches deviennent alors entraînables de manière pratique.

3) Deep Blue : la vitrine de la puissance symbolique

Le superordinateur Deep Blue d’IBM bat le champion du monde d’échecs Garry Kasparov en 1997, renforçant la visibilité de l’intelligence artificielle auprès du grand public. Cette victoire reposait davantage sur la puissance de calcul et les stratégies de recherche que sur l’apprentissage profond au sens actuel ; elle a toutefois montré que les machines pouvaient s’imposer dans des espaces de décision complexes.

De l’apprentissage profond au transformer, quelles étapes ont marqué la suite ?

4) AlexNet fait entrer le deep learning dans le mainstream

Le succès d’AlexNet lors du concours ImageNet 2012 a accéléré l’intérêt pour l’apprentissage profond dans la reconnaissance d’images. On a alors compris que des réseaux multicouches, combinés à de grandes quantités de données et à du matériel puissant, pouvaient produire des résultats nets sur des tâches jusque-là jugées difficiles.

5) AlphaGo a démocratisé l’apprentissage par renforcement

Le programme AlphaGo de DeepMind bat le champion de go Lee Sedol 4 à 1 en 2016, franchissant un nouveau seuil. Cet exemple a montré qu’en combinant réseaux de neurones profonds et apprentissage par renforcement, on pouvait créer des systèmes capables non seulement de reconnaître des motifs, mais aussi d’élaborer des stratégies.

6) L’architecture transformer et le mécanisme d’attention

L’article “Attention Is All You Need”, publié en 2017, introduit l’architecture transformer. Conçue par Ashish Vaswani et l’équipe de Google, cette approche met en avant le traitement des séquences en sélectionnant, grâce au mécanisme d’attention, les informations les plus pertinentes ; elle servira ensuite de base à BERT et à la famille GPT.

Comment les modèles de langage actuels sont-ils nés de cet héritage ?

Les grands modèles de langage actuels réunissent sous un même toit l’idée des réseaux de neurones lancée par le perceptron, la méthode d’entraînement permise par la rétropropagation, l’avantage d’échelle de l’apprentissage profond et la structure d’attention du transformer. Les tournants que furent les échecs et victoires aux échecs et au go ont aussi aidé à faire comprendre ces systèmes non seulement comme des outils de traitement des données, mais aussi comme des architectures capables d’élaborer une stratégie en cours de tâche.

L’attribution du prix Nobel de physique 2024 à John Hopfield et Geoffrey Hinton a également remis en lumière l’importance scientifique de cette trajectoire historique. En bref, les outils d’IA générative d’aujourd’hui ne sont pas apparus soudainement ; ils sont le produit de décennies d’accumulation en apprentissage automatique.

"""