Contexte historique

1944. Suite à la fin de la seconde guerre mondiale, de nombreux ingénieurs et scientifiques s’intéressent à élaborer les premiers ordinateurs modernes, inspirés par la machine de Alan Turing qui permit aux Alliés de casser le code ENIGMA et de gagner la guerre. Déjà le monde comprend que l’ordinateur programmable sera l’arme de demain.

Arthur Samuel, professeur aux Etats-Unis, fait partie des scientifiques travaillant sur cette technologie. Mais en 1948, lui et son équipe font face à un sérieux problème : ils n’ont plus d’argent pour financer leurs recherches. Ils ne voient qu’une seule solution pour regagner des fonds : marquer les esprits en construisant un ordinateur qui ferait quelque chose de révolutionnaire.

Or il se trouve que la ville voisine organiserait bientôt les championnats du monde du jeu des Dames, ce qui donne à Arthur Samuel l’idée de construire un ordinateur qui participerait au tournoi, et le gagnerait !

Arthur Samuel jouant aux Dames contre sa propre machine en 1959

Arthur Samuel commence donc à écrire un programme pour jouer aux Dames, mais n’étant pas lui-même un joueur expert, il ignore les tactiques de jeu pour gagner face à un champion et ne peut ainsi pas écrire un programme de façon explicite. Mais il n’abandonne pas. Il a une idée…

L’idée d’Arthur Samuel

Il construit deux ordinateurs qu’il fait jouer l’un contre l’autre. Dans chaque ordinateur, il écrit un programme qui génère un nombre aléatoireà chaque tour, et ce nombre est utilisé pour bouger une pièce au hasard.

Mais il écrit aussi un deuxième programme, son job : regarder ce que le premier programme vient de jouer comme pièce, et analyser si c’était un bon coup ou un mauvais coup pour donner un feedback au premier programme. Par exemple si un pion adverse a été mangé, il va dire au premier programme d’arrêter de bouger les pièces au hasard et essayer de rejouer ce genre de coup. A l’inverse, si l’adversaire à manger un de nos pions, il va dire au premier programme d’éviter de jouer ce genre de coup. (C’est un exemple de Reinforcement Learning)

Et ainsi, à chaque tour, le programme #1 bouge une pièce selon la stratégie que le programme #2 est en train de construire, puis le programme #2 analyse le coup qui vient d’être joué pour continuer à améliorer la stratégie. L’ordinateur est en train d’apprendre à jouer aux dames.

Le premier jeu de Dames automatique

Après plusieurs milliers de parties, Arthur Samuel joue lui-même contre l’un de ses ordinateurs, et il perd la partie. C’est l’invention du Machine Learning.

En réalité, Arthur Samuel n’a pas eu le temps de construire sa machine pour participer au tournoi. En revanche il continua ses recherches tout au long de sa vie, il développa d’autres algorithmes comme AlphaBeta et Minimax, pour finalement installer son programme sur les premiers ordinateurs d’IBM, le 701, en 1959. C’est le même Machine Learning que l’on trouve aujourd’hui dans nos voitures autonomes, reconnaissances vocales, etc.