Chapitre 4
Appliquer l'apprentissage supervisé
Dans quels contextes envisager l'apprentissage supervisé
Un algorithme d'apprentissage supervisé utilise un jeu de données d'entrée connues (le jeu de données d'apprentissage) et les réponses connues (sorties) associées à ces données. Il entraîne ainsi un modèle pour générer ensuite des prédictions raisonnables en réponse à de nouvelles données d'entrée. Utilisez l'apprentissage supervisé si vous disposez de données existantes pour le résultat que vous essayez de prédire.
Toutes les techniques d'apprentissage supervisé sont une forme de classification ou de régression.
Les techniques de classification prédisent des réponses discrètes, par exemple en indiquant si un e-mail est authentique ou un spam, ou si une tumeur est petite, moyenne ou grande. Les modèles de classification sont entraînés à classer les données en catégories. Parmi leurs applications, on peut citer l'imagerie médicale, la reconnaissance vocale et le credit scoring.
Les techniques de régression prédisent des réponses continues, par exemple des variations de température ou des fluctuations de la demande d'électricité. Parmi leurs applications, on peut citer la prévision des cours de bourse, la reconnaissance de l'écriture manuscrite et le traitement des signaux acoustiques.
Choisir l'algorithme adapté
Comme nous l'avons vu au Chapitre 1, le choix d'un algorithme de Machine Learning est effectué en procédant par tâtonnements. Il implique également un compromis entre certaines caractéristiques spécifiques des algorithmes, telles que :
- Vitesse d’apprentissage
- Utilisation de la mémoire
- Précision des prédictions sur de nouvelles données
- Transparence ou interprétabilité (facilité avec laquelle vous pouvez comprendre les raisonnements sur lesquels se basent les prédictions d'un algorithme)
Algorithmes de classification courants
Régression logistique
FONCTIONNEMENT
Cet algorithme ajuste un modèle capable de prédire la probabilité qu'une réponse binaire appartienne à une classe ou à l'autre. En raison de sa simplicité, la régression logistique est couramment utilisée comme point de départ dans les problèmes de classification binaire.UTILISATION OPTIMALE
- Quand les données peuvent être clairement séparées par une frontière unique et linéaire
- Comme base de référence pour l'évaluation de méthodes de classification plus complexes
Méthode des k plus proches voisins (kNN)
FONCTIONNEMENT
La méthode kNN catégorise les objets en fonction des classes de leurs plus proches voisins dans le jeu de données. Les prédictions kNN supposent que des objets proches les uns des autres sont similaires. Les métriques de distance, telles que les distances euclidienne, de Manhattan, de similarité cosinus ou de Tchebychev, sont utilisées pour trouver le voisin le plus proche.UTILISATION OPTIMALE
- Quand vous avez besoin d'un algorithme simple pour établir des règles d'apprentissage de référence
- Quand l'utilisation de la mémoire du modèle entraîné est d’importance moindre
- Quand la vitesse de prédiction du modèle entraîné est d’importance moindre
Machine à vecteurs de support (SVM)
FONCTIONNEMENT
Cet algorithme classifie les données en trouvant la frontière de décision linéaire (hyperplan) séparant tous les points de données d'une classe de ceux de l'autre classe. Le meilleur hyperplan pour une SVM est celui qui présente la marge la plus élevée entre les deux classes, lorsque les données sont linéairement séparables. Si les données ne sont pas linéairement séparables, une fonction de perte est utilisée pour pénaliser les points situés du mauvais côté de l'hyperplan. Les SVM utilisent parfois une transformation par noyau pour passer les données non linéairement séparables à des dimensions supérieures, où une frontière de décision linéaire peut être établie.UTILISATION OPTIMALE
- Pour les données qui présentent exactement deux classes (vous pouvez également l'utiliser pour la classification multiclasse avec des codes correcteurs d’erreurs ou ECOC)
- Pour les données présentant un grand nombre de dimensions et non linéairement séparables
- Quand vous avez besoin d'un classificateur simple, facile à interpréter et précis
Réseau de neurones
FONCTIONNEMENT
Inspiré du cerveau humain, un réseau de neurones se compose de réseaux neuronaux hautement connectés qui relient les entrées aux sorties souhaitées. Le réseau est entraîné en modifiant de manière itérative les forces des connexions de sorte que chacune des entrées données corresponde à la réponse correcte.UTILISATION OPTIMALE
- Pour la modélisation de systèmes hautement non linéaires
- Quand les données sont disponibles de manière incrémentale et que vous souhaitez mettre à jour le modèle en permanence
- Quand des changements inattendus sont susceptibles de survenir dans vos données d'entrée
- Quand l'interprétabilité du modèle n'est pas d’une importance majeure
Classification naïve bayésienne
FONCTIONNEMENT
Un classificateur naïf bayésien part du principe que la présence d'une caractéristique particulière dans une classe n'est liée à la présence d'aucune autre caractéristique. Il classe les nouvelles données en fonction de la probabilité la plus élevée qu'elles appartiennent à une classe particulière.UTILISATION OPTIMALE
- Pour un petit jeu de données contenant de nombreux paramètres
- Quand vous avez besoin d'un classificateur facile à interpréter
- Si le modèle risque d'être confronté à des scénarios qui ne figuraient pas dans les données d'apprentissage, comme c'est le cas dans de nombreuses applications financières et médicales
Analyse discriminante
FONCTIONNEMENT
L'analyse discriminante classe les données en trouvant des combinaisons linéaires de caractéristiques. Ce modèle suppose que les différentes classes génèrent des données basées sur des distributions gaussiennes. L'apprentissage d'un modèle d'analyse discriminante implique de trouver les paramètres d'une distribution gaussienne pour chaque classe. Ces paramètres sont utilisés pour calculer les frontières, qui peuvent être des fonctions linéaires ou quadratiques. Ces frontières sont utilisées pour déterminer la classe des nouvelles données.UTILISATION OPTIMALE
- Quand vous avez besoin d'un modèle simple et facile à interpréter
- Quand l'utilisation de la mémoire pendant l'apprentissage est d’importance moindre
- Quand vous avez besoin d'un modèle capable d'effectuer des prédictions rapides
Arbre de décision
FONCTIONNEMENT
Un arbre de décision vous permet de prédire les réponses pour des données en suivant les décisions dans l'arbre depuis la racine (début) jusqu'à un nœud feuille. Un arbre se compose de conditions de branchement où la valeur d'un prédicteur est comparée à un poids entraîné. Le nombre de branches et les valeurs des poids sont déterminés lors du processus d'apprentissage. Une modification supplémentaire appelée élagage (pruning) peut être utilisée pour simplifier le modèle.UTILISATION OPTIMALE
- Quand vous avez besoin d'un algorithme facile à interpréter et rapide à ajuster
- Pour minimiser l'utilisation de la mémoire
- Quand une précision de prédiction élevée n'est pas exigée
Bagging et boosting d'arbres de décision
FONCTIONNEMENT
Dans ces méthodes ensemblistes, plusieurs arbres de décision « plus faibles » sont combinés pour former un ensemble « plus fort ».Le bagging d'arbre de décision produit des arbres entraînés de manière indépendante sur des données obtenues par échantillonnage avec remplacement (bootstrap) à partir des données d'entrée.
Le boosting consiste à créer un apprenant fort en ajoutant de manière itérative des apprenants « faibles » et en ajustant le poids de chacun de ces apprenants faibles afin de se concentrer sur les exemples mal classifiés.
UTILISATION OPTIMALE
- Quand les prédicteurs sont catégoriels (discrets) ou se comportent de manière non linéaire
- Quand le temps nécessaire à l'apprentissage d'un modèle est d’importance moindre
Algorithmes de régression courants
Régression linéaire
FONCTIONNEMENT
La régression linéaire est une technique de modélisation statistique utilisée pour décrire une variable de réponse continue comme une fonction linéaire d'une ou plusieurs variables prédictives. Les modèles de régression linéaire étant faciles à interpréter et à entraîner, ils constituent souvent le premier modèle à être ajusté à un nouveau jeu de données.UTILISATION OPTIMALE
- Quand vous avez besoin d'un algorithme facile à interpréter et rapide à ajuster
- Comme base de référence pour évaluer d'autres modèles de régression plus complexes
Régression non linéaire
FONCTIONNEMENT
La régression non linéaire est une technique de modélisation statistique qui permet de décrire des relations non linéaires dans des données expérimentales. Les modèles de régression non linéaire sont généralement considérés comme paramétriques, le modèle étant décrit comme une équation non linéaire.Le terme « non linéaire » fait référence à une fonction d’ajustement, avec une dépendance non linéaire aux paramètres. Par exemple, si les paramètres d'ajustement sont b0, b1 et b2, l'équation y = b0+b1x+b2x2 est une fonction linéaire des paramètres d'ajustement, tandis que y = (b0xb1)/(x+b2) est une fonction non linéaire des paramètres d'ajustement.
UTILISATION OPTIMALE
- Quand les données présentent de fortes tendances non linéaires et ne peuvent pas être facilement transformées en un espace linéaire
- Pour ajuster des modèles personnalisés aux données
Modèle de régression par processus gaussiens
FONCTIONNEMENT
Les modèles de régression par processus gaussiens (RPG) sont des modèles non paramétriques utilisés pour prédire la valeur d'une variable de réponse continue. Ils sont couramment utilisés dans le domaine de l'analyse spatiale pour l'interpolation en présence d'incertitude. La régression par processus gaussiens est également appelée krigeage.UTILISATION OPTIMALE
- Pour interpoler des données spatiales, comme les données hydrogéologiques concernant la répartition des eaux souterraines
- En tant que modèle de substitution pour faciliter l'optimisation de designs complexes tels que des moteurs automobiles
Régression SVM
FONCTIONNEMENT
Les algorithmes de régression SVM fonctionnent comme les algorithmes de classification SVM, mais ils sont modifiés pour pouvoir prédire une réponse continue. Au lieu de trouver un hyperplan qui sépare les données, les algorithmes de régression SVM trouvent un modèle qui s'écarte des données mesurées d'une valeur ne dépassant pas une faible quantité, avec des valeurs de paramètres aussi petites que possible (afin de minimiser la sensibilité à l'erreur).UTILISATION OPTIMALE
- Pour les données de grande dimension (lorsqu'il y a un grand nombre de variables prédictives)
Modèle linéaire généralisé
FONCTIONNEMENT
Un modèle linéaire généralisé est un cas particulier de modèle non linéaire qui utilise des méthodes linéaires. Cette méthode consiste à ajuster une combinaison linéaire des entrées à une fonction non linéaire (la fonction lien) des sorties.UTILISATION OPTIMALE
- Quand les variables de réponse suivent des distributions non normales, comme par exemple une variable de réponse qui doit toujours être positive
Arbre de régression
FONCTIONNEMENT
Les arbres de décision pour la régression sont similaires aux arbres de décision pour la classification, mais ils sont modifiés pour pouvoir prédire des réponses continues.UTILISATION OPTIMALE
- Quand les prédicteurs sont catégoriels (discrets) ou se comportent de manière non linéaire
