MACHINE LEARNING & STATISTIQUES Erreur des modèles - Sous et sur ajustement Mixte : présentiel / à distance

• Cette formation n'est pas orientée sur l'apprentissage des méthodes de modélisation mais bien sur les problématiques liées à la mise en œuvre de celles-ci.
• Une connaissance des outils statistiques de base est souhaitée ainsi que la connaissance des outils de modélisation mis en œuvre

• Quantifier l'erreur d'un modèle prédictif qualitatif
• Quantifier l'erreur d'un modèle prédictif quantitatif
• Comprendre la notion de biais d'un modèle
• Comprendre la notion de variance d'un modèle
• Comprendre les conséquences du sous ajustement
• Comprendre les conséquences du sur ajustement
• Quantifier l'erreur d'un modèle (Quantitatif ou qualitatif) 
• Mettre en œuvre des processus de validation croisée type Leave One Out et K Fold

Jour 1 – Matin

Rappeler les méthodes de modélisation

• Que veut-on prédire
  • Variable Qualitative
  • Variable Quantitative
• Quantification de l'erreur d'un modèle quantitatif
  • Rmse,
  • Mae
  • R², R² ajusté, R² Prev,
  • …
• Quantification de l'erreur d'un modèle qualitatif
  • Matrice de confusion
  • Accuracy
  • Kappa
  • Spécificité ; sensibilité
  • …
• Différentes façons de prédire
• Modélisation classique
  • Régression
  • Régression logistique
• Modélisation Machine Learning
  • Knn
  • Svm,
  • Arbres de décisions
  • …

Jour 1 – Après-midi

Optimiser le sous et surajustement

• Notions de biais d'un modèle
• Notions de variance d'un modèle
• Optimalité variance & biais
• Jugement de la qualité d'un modèle
• Matrice de confusion
• Méthode du Data Train / Data test
• Validation croisée
• Classique LOO (leave One Out)
• Validation croisée par k fold

Jour 2 – Matin

Réaliser des exercices pratiques

• Applications avec R
• Démonstration avec Excel
• Cas d'études sur données des apprenants

Jeux de données 

Afin de s'approcher au mieux des réalités quotidiennes des praticiens, nous suggérons de nous appuyer pour l'animation pratique de thématiques et surtout de jeux de données reflétant le quotidien des apprenants. 

Cet élément est un facteur de réussite pour la formation. Elle permet aux apprenants de : 

• Se "reconnaitre" dans les thèmes abordés,  
• Mieux percevoir l'intérêt des notions étudiées  
• S'approprier le contenu de la formation 

Il sera donc pertinent que les apprenants puissent réfléchir en amont de la formation à des problématiques, jeux de données ou documents susceptibles d'être utilisés en support lors de la formation. 

Outil logiciel 

Cette formation n'est pas strictement dédiée à un logiciel. Les exercices et les illustrations se feront généralement sous R ou sous un autre logiciel partant de l'hypothèse que celui-ci intègre les outils techniques abordés.

Dans le cas où la formation serait effectuée avec le logiciel R, une connaissance de base de ce logiciel est préconisée.

• Explications théoriques suivies de pratiques guidées puis de mises en autonomie.
• Exercices autonomes et réguliers pour assurer l'assimilation

Votre formation se déroule à distance avec :

• 1 ordinateur
• 1 connexion Internet
• 1 adresse e-mail valide
• 1 équipement audio (micro et enceintes ou casque)
• 1 Webcam (facultatif – dans l'idéal)
• 1 deuxième écran (facultatif – dans l'idéal)

• Questionnaire de vérification de connaissances (Quiz),
• Réalisation de Travaux Pratiques : production ou amélioration d'un fichier,
• Mises en situation et grilles d'analyse,
• Serious Game : jeu de rôles et analyse,
• Activités interactives à travers l'utilisation d'une plate-forme connectée.