AdaBoost

AdaBoost (boosting adaptatif) est un algorithme d'apprentissage assembliste qui peut être utilisé pour la classification ou la régression. Bien qu'AdaBoost résiste mieux au surajustement qu'un grand nombre d'algorithmes de machine learning, il est parfois sensible aux données bruitées et aux valeurs aberrantes.

AdaBoost est désigné comme adaptatif car il utilise de nombreuses itérations pour générer un apprenant composite fort. AdaBoost crée l'apprenant fort (un classifieur bien corrélé au classifieur correct) en ajoutant de manière itérative des apprenants faibles (un classifieur légèrement corrélé au classifieur correct). Lors de chaque session d’apprentissage, un nouvel apprenant faible est ajouté à l'ensemble et un vecteur de pondération est ajusté afin de mettre l'accent sur les exemples ayant été classés de manière incorrecte lors des sessions précédentes. Par conséquent, le classifieur obtenu est doté d'une meilleure précision que les classifieurs des apprenants faibles.

Le boosting adaptatif inclut les algorithmes suivants :

• AdaBoost.M1 et AdaBoost.M2 – les algorithmes originaux de classification binaire et multiclasses
• LogitBoost – classification binaire (pour les classes faiblement séparables)
• Gentle AdaBoost ou GentleBoost – classification binaire (pour une utilisation avec les prédicteurs catégoriels multiniveaux)
• RobustBoost – classification binaire (robuste contre le bruit)
• LSBoost – boosting aux moindres carrés (pour les ensembles de régression)
• LPBoost – classification multiclasses à l'aide de boosting de programmation linéaire
• RUSBoost – classification multiclasses pour les données décalées ou déséquilibrées
• TotalBoost – classification multiclasses plus robuste que LPBoost

Pour plus d’informations sur le boosting adaptatif, consultez les sections dédiées à la Statistics and Machine Learning Toolbox™.