L’apprentissage supervisé (en anglais : Supervised Learning) est le paradigme d’apprentissage le plus populaire en Machine Learning et en Deep Learning. Comme son nom l’indique, cela consiste à superviser l’apprentissage de la machine en lui montrant des exemples (des données) de la tâche qu’elle doit réalisée. Les applications sont nombreuses : Reconnaissance vocale, vision par ordinateur, régressions, classifications… La grande majorité des problèmes de Machine Learning et de Deep Learning utilisent l’apprentissage supervisé. Il est donc essentiel de bien comprendre le fonctionnement de cette mécanique.

Comment fonctionne l’apprentissage supervisé ?

Avec l’apprentissage supervisé, la machine peut apprendre à faire une certaine tâche en étudiant des exemples de cette tâche. Par exemple, elle peut apprendre à reconnaître une photo de chien après qu’on lui ait montré des millions de photos de chiens. Ou bien, elle peut apprendre à traduire le français en chinois après avoir vu des millions d’exemples de traduction français-chinois.

D’une manière générale, la machine peut apprendre une relation f : x \rightarrow  y qui relie x à y en ayant analysé des millions d’exemples d’associations x \rightarrow  y.

L’apprentissage supervisé fonctionne en 4 étapes :

1. Importer un Dataset (x, y) qui contient nos exemples
2. Développer un Modèle aux paramètres aléatoires
3. Développer une Fonction Coût qui mesure les erreurs entre le modèle et le Dataset
4. Développer un Algorithme d’apprentissage pour trouver les paramètres du modèle qui minimisent la Fonction Coût

Le Dataset : les exemples de ce qu’il faut apprendre

La première étape d’un algorithme de Supervised Learning consiste donc à importer un Dataset qui contient les exemples que la machine doit étudier.

Ce Dataset inclut toujours 2 types de variables :

• Une variable objectif (target) y
• Une ou plusieurs variables caractéristiques (features) X

Par exemple, imaginez que vous visitez une série d’appartements un samedi après-midi. Pour chaque appartement, vous notez dans un tableau Excel le prix y et les caractéristiques X de l’appartement (la surface, la qualité, ville, etc.)

Par convention, on dit que notre Dataset contient m exemples, c’est-à-dire m lignes. Si vous avez visité 6 appartements, alors m=6.

Par convention, on note également n le nombre de features dans notre Dataset, c’est-à-dire le nombre de colonnes (hormis la colonne y). Si vous avez noté 3 caractéristiques pour vos appartement (Surface, qualité, ville), alors n=3.

Quand on développe un programme de vision par ordinateur, les features de notre Dataset peuvent être les pixels présents sur l’image. Un Dataset d’images de 8×8 pixels donne donc 64 features (n=64). Chacune de ces features correspondra à la valeur du pixel (un pixel noir = 1, un pixel blanc = 0)

Dernière convention : pour désigner une cellule de notre tableau, on note en général x^{(ligne)}_{colonne}, c’est-à-dire que pour désigner la qualité du 3^ième appartement que vous avez visité, on écrit x^{(3)}_2

Avec un tel Dataset, il devient possible de prédire de nouvelles valeurs y à partir de valeurs de x en développant un modèle, et c’est là notre 2^ième étape dans la résolution d’un problème de Supervised Learning !

Le modèle : le cœur de votre programme

Le modèle est en quelque sorte le cœur de votre programme, c’est lui qui va effectuer la tâche que vous cherchez à accomplir, par exemple reconnaître un animal sur une photo ou prédire le prix d’un appartement.

Qu’est ce qu’un modèle ?

Pour rappel, un modèle est une représentation simplifiée de la réalité, que l’on peut utiliser pour prédire ce qui se passerait dans certaines conditions. Ça peut être un dessin, une équation physique, une fonction mathématique, une courbe… bref, n’importe quelle représentation.

Par exemple, si je lâche une pomme de 100 g depuis une hauteur de 4 mètres, en combien de temps tombera t’elle sur la tête de ce bon vieux Newton ? On peut prédire cela avec les équations de Newton. Dans ce cas, notre modèle est déterministe : il donnera toujours la même réponse sous les mêmes conditions.

Mais pour prédire le prix d’un appartement en fonction de toutes ses caractéristiques, quelle est l’équation mathématique à entrer dans la machine ? Et quelle est l’équation pour reconnaître un chat sur une photo ? Nul ne le sait !

La solution ? Laisser la machine trouver le modèle qui correspond le mieux à votre Dataset (x, y) : c’est l’apprentissage supervisé.

Les modèles de Machine Learning

A la différence du modèle illustré plus haut, un modèle de Machine Learning ne repose pas sur une démonstrations mathématique ou une équation physique. A la place, il est construit à partir de données, comme un modèle statistique.

Si par exemple votre Dataset vous donne le nuage de point suivant, alors la machine devra trouver le modèle qui rentre le mieux dans ce nuage de point.

Cependant, ce n’est pas à la machine de faire tout le travail !

Dans les faits, c’est à nous de choisir le type de modèle (c’est-à-dire la fonction mathématique) et c’est à la machine de trouver les coefficients de cette fonction qui donnent les meilleurs résultats. Par convention on appelle ces coefficients les paramètres du modèle.

Par exemple, on peut choisir de développer un modèle linéaire f(x) = ax + b et on laisse la machine trouver la valeur de (a, b) qui donne les meilleurs résultats.

Ou bien on peut choisir un modèle non-linéaire, par exemple f(x) = ax^2 + bx + c, où (a, b, c) sont les paramètres. Les possibilités sont infinies, mais nous verrons plus tard dans cette formation comment choisir un modèle plutôt qu’un autre.

Maintenant, la question est : comment faire pour que la machine trouve le meilleur modèle ? Autrement dit, comment faire pour que la machine apprenne ?

La réponse est dans les étapes 3 et 4 !

La Fonction coût : mesure de la performance

Pour que la machine trouve le meilleur modèle, il faut déjà qu’elle puisse mesurer la performance d’un modèle donné.  Vous ne me croyez pas ?

Imaginez que vous participiez à un concours de tir à l’arc. Comment savoir si vous êtes meilleur que votre voisin sans mesurer la distance entre vos flèches et le centre de la cible ? C’est impossible. Vous DEVEZ mesurer vos performances pour juger lequel de vous deux est le meilleur.

C’est la même chose en Machine Learning. Pour savoir quel modèle est le meilleur parmi 2 candidats, il faut les évaluer. Pour cela, on mesure l’erreur entre un modèle et le Dataset, et on appelle ça la Fonction Coût.

Dans le cas d’une régression, on peut par exemple mesurer l’erreur entre la prédiction du modèlef(x^{(i)}) et la valeur y^{(i)} qui est associée à ce x^{(i)} dans notre Dataset. C’est similaire à l’idée de mesurer la distance entre votre flèche (f(x^{(i)}) et le centre de la cible, qui n’est autre que le point (y^{(i)}) qu’elle est sensée atteindre.

Maintenant, dans le cas d’une classification, on peut construire notre Fonction Coût en mesurant le nombre d’exemples du Dataset que notre modèle aura mal classé avec sa frontière de décision

Il existe beaucoup de métriques pour mesurer nos erreurs (MSE, MAE, RMSE, etc.) et nous verrons déjà l’un d’entre eux dans le prochain article de cette formation, ce qui vous permettra de passer au concret avec cette histoire de Fonction Coût.

Voilà pour l’étape 3 de notre problème d’apprentissage supervisé. A ce stade nous avons :

1. Un Dataset
2. Un Modèle
3. Une Fonction Coût qui mesure les erreurs entre le modèle et le Dataset

Il est temps de passer à l’étape la plus importante en Machine Learning, celle qui donne vie à notre programme, l’étape d’apprentissage.

L’Algorithme d’apprentissage

Parlons peu, parlons bien. Avoir un bon modèle, c’est avoir un modèle qui de petites erreurs. Logique ?

Ainsi, en Supervised Learning, la machine cherche les paramètres de modèle qui minimisent la Fonction Coût. C’est ça qu’on appelle l’apprentissage. Cette phrase est très importante. C’est l’essentiel de ce qu’il faut comprendre en Machine Learning.

Pour trouver les paramètres qui minimisent la fonction Coût, il existe un paquet de stratégies.

On pourrait par exemple développer un algorithme qui tente au hasard plusieurs combinaisons de paramètres, et qui retient la combinaison avec la Fonction Cout la plus faible. C’est un peu comme organiser un concours d’archers pour ne garder que le meilleur. Cette stratégie est cependant assez inefficace la plupart du temps.

Une autre stratégie, très populaire en Machine Learning, est de considérer la Fonction Coût comme une fonction convexe, c’est-à-dire une fonction qui n’a qu’un seul minimum, et de chercher ce minimum avec un algorithme de minimisation appelé Gradient Descent. Nous le verrons en détails dans les prochains articles. Cette stratégie apprend de façon graduelle, et assure de converger vers le minimum de la fonction Coût (si convexe).

Dans le jargon, on appelle cette étape la phase d’entrainement du modèle. La machine choisit des paramètres pour le modèle, puis évalue sa performance (Fonction Coût) puis cherche des paramètres qui peuvent améliorer sa performance actuelle, etc.

Une fois la phase d’entrainement terminée vous avez un modèle de Machine Learning !

En Conclusion

Vous connaissez à présent les 4 étapes qui donnent vie à un programme d’apprentissage supervisé (Supervised Learning). La mécanique est simple et est applicable pour tout problème d’apprentissage supervisé avec un Dataset (x, y) :

1. Importer le Dataset et le diviser en un vecteur y et une matrice X
2. Créer un Modèle f qui produit une prédiction en fonction de certaines conditions
3. Créer une Fonction Coût qui sera utilisée pour calculer la performance du modèle sur les exemples du Dataset.
4. Utiliser un Algorithme d’Apprentissage pour trouver le modèle qui minimise la Fonction Coût.

Cette démarche fonctionne aussi bien pour les problèmes de régression (prédire le cours de la bourse, prédire le temps de trajet d’un taxi, etc…) que pour les problèmes de classification (détecter une cellule cancéreuse, trier des email spam, etc…) et même pour les classifications en Deep Learning (vision par ordinateur, reconnaissance vocale, etc…)