Pour les articles homonymes, voir bootstrap.

Cette section doit être déjargonisée (août 2020). Le texte doit être remanié en utilisant un vocabulaire plus directement compréhensible. Discutez des points à améliorer en page de discussion.

Bootstrap aggregating

Type	Algorithme, métaheuristique
Inventeur	Leo Breiman

modifier - modifier le code - modifier Wikidata

En intelligence artificielle, plus précisément en apprentissage automatique, le bootstrap aggregating, également appelé bagging (de bootstrap aggregating), est une méthode d'apprentissage introduite par Breiman en 1994. L'idée est d'entraîner plusieurs modèles puis de produire un modèle final qui combine leurs sorties. Le bagging est un cas particulier de l'approche d'apprentissage ensembliste.

Le bagging est généralement appliqué avec un algorithme d'apprentissage d'arbres de décision : cela donne l'algorithme des forêts aléatoires. Mais il peut en fait être utilisé avec n'importe quel algorithme d'apprentissage pour produire les modèles intermédiaires : on dit que c'est un méta-algorithme.

Le bagging peut améliorer la stabilité et la précision des prédictions par rapport à un modèle obtenu à partir d'un algorithme d'apprentissage. Il aide à réduire la variance et éviter le surapprentissage.

Considérons un ensemble d'entraînement standard ${\displaystyle D}$ de taille ${\displaystyle n}$. La méthode est composée de trois étapes.

1. Le bagging commence par générer ${\displaystyle m}$ nouveaux ensembles d'entraînement ${\displaystyle D_{i}}$, chacun de taille ${\displaystyle n'\,}$, par échantillonnage uniforme et avec remise à partir de ${\displaystyle D}$. En échantillonnant avec remplacement, certaines observations peuvent être répétées dans chaque ${\displaystyle D_{i}}$ . Si ${\displaystyle n'\,=n}$, alors pour ${\displaystyle n}$ grand, l'ensemble ${\displaystyle D_{i}}$ tend à avoir la fraction ${\displaystyle 1-1/e}$ (≈63,2%) d'exemples uniques de ${\displaystyle D}$, le reste étant des doublons^[1]. Ce type d'échantillon est appelé échantillon de bootstrap.
2. Ensuite, ${\displaystyle m}$ modèles sont entraînés pour chacun des ${\displaystyle m}$ ensembles d'échantillons de bootstrap.
3. Pour finir, la prédiction du méta-modèle est obtenue en calculant la moyenne des sorties (pour de la régression) ou par vote majoritaire (pour de la classification) des ${\displaystyle m}$ modèles.

Le bagging conduit à des «améliorations pour les procédures instables» (Breiman, 1996), qui incluent, par exemple, les réseaux de neurones artificiels, les arbres de décision et la sélection de sous-ensembles en régression linéaire (Breiman, 1994). Le bagging peut-être appliqué à la réduction de bruit au cours du pre-processing de données, avec une amélioration de l'apprentissage ^[2],[3].

D'un autre côté, le bagging peut légèrement dégrader les performances de méthodes stables telles que les K-plus proches voisins (Breiman, 1996).

L'exemple suivant illustre les principes de base du principe de bagging, sur une analyse de la relation entre l'ozone et la température (données de Rousseeuw et Leroy (1986), analyse effectuée en R).

La relation entre la température et l'ozone dans cet ensemble de données est apparemment non linéaire. Pour décrire mathématiquement cette relation, des lisseurs LOESS (avec une bande passante de 0,5) sont utilisés. Au lieu de créer un seul lissage à partir de l'ensemble de données complet, 100 échantillons bootstrap des données ont été tirés. Chaque échantillon est différent de l'ensemble de données d'origine, mais lui ressemble en termes de distribution et de variabilité. Un lisseur LOESS est ajusté pour chaque échantillon de bootstrap. Des prédictions à partir de ces 100 lisseurs ont ensuite été faites sur l'ensemble des données. Les 10 premiers ajustements lisses prévus apparaissent sous forme de lignes grises dans la figure ci-dessous. On remarque que les lignes grises sont saccadées et surapprennent les données.

En prenant la moyenne de 100 lissages, chacun ajusté à un sous-ensemble de l'ensemble de données d'origine, on obtient un meta-estimateur (ligne rouge). Cet estimateur est plus stable et il y a moins de surapprentissage.

Le bagging (bootstrap aggregating) a été proposé par Leo Breiman en 1994^[4] pour améliorer la classification en combinant des classifications d'ensembles d'entraînement générés aléatoirement.

• Boosting (méta-algorithme)
• Bootstrapping (statistiques)
• Validation croisée (statistiques)
• Forêt aléatoire
• Random subspace method (attribute bagging)

• (en) Leo Breiman, « Bagging predictors », Machine Learning, vol. 24, n^o 2,‎ 1996, p. 123–140 (DOI 10.1007/BF00058655).
• (en) Sotiris Kotsiantis, « Bagging and boosting variants for handling classifications problems: a survey », Knowledge Eng. Review, vol. 29, n^o 1,‎ 2014, p. 78–100 (DOI 10.1017/S0269888913000313).

• Portail de l'informatique théorique