Comment
Author: Admin | 2025-04-28
1989 se réfère au process de la découverte de connaissance dans les données.Sur-ajustement d'un modèle : arbitrage performance / complexitéLes écueils les plus communément rencontrés par les fouilleurs de données expérimentés ou non ont été décrits par Robert Nisbet, John Elder et Gary Miner dans leur ouvrage Handbook of Statistical Analysis & Data Mining Applications[b 2].La première est le fait de poser la mauvaise question. Ce qui conduit à faire chercher au mauvais endroit. Il faut que la question initiale soit correctement posée pour que la réponse soit utile.Ensuite, c'est se contenter d'une faible quantité de données pour un problème complexe[b 2]. Il faut avoir des données pour les explorer, et les cas intéressants pour le fouilleur sont rares à observer, il faut donc avoir à sa disposition énormément de données pour pouvoir faire des échantillons qui ont une valeur d'apprentissage et qui vont permettre de prédire une situation, c'est-à-dire répondre à une question posée, sur les données hors échantillon. De plus, si les données ne sont pas adaptées à la question posée, la fouille sera limitée : par exemple si les données ne contiennent pas de variables à prédire, la fouille sera cantonnée à la description et l'analyste ne pourra que découper les données en sous-ensembles cohérents (clusterisation) ou trouver les meilleures dimensions qui capturent la variabilité des données.Il faut construire l'échantillon, qui permet l'apprentissage, avec précaution et ne pas échantillonner à la légère[b 2]. L'apprentissage permet de construire le modèle à partir d'un ou plusieurs échantillons. Paramétrer l'outil d'exploration de données jusqu'à ce que le modèle renvoie 100 % des cas recherchés revient à se concentrer sur les particularités et se détourner de la généralisation, nécessaire, qui permet d'appliquer le modèle sur les données hors-échantillon. Des techniques existent pour éviter le sur-ajustement ou le sur-apprentissage. Il s'agit des
Add Comment