Optimiser et évaluer les performances de vos modèles
Savoir si un modèle est bon, et le rendre meilleur.
- Intermédiaire
3 jours (21 h) · Présentiel / Distanciel synchrone / Hybride · Français · 2 880 € TTC · Réf. INT-0116
Document édité le 19 novembre 2026 — acensilearning.fr
2 880 € TTC
du 17 au 19 mars 2027 · Clermont-Ferrand · Présentiel ou à distance
Toutes les datesEn quelques mots
Savoir si un modèle est bon, et le rendre meilleur. La formation traite le choix des métriques selon le problème posé, la lecture des matrices de confusion et des courbes ROC, la recherche d'hyperparamètres, la validation croisée et la comparaison rigoureuse de plusieurs modèles.
Objectifs pédagogiques
- Choisir les métriques adaptées au problème
- Interpréter matrices de confusion et courbes ROC
- Optimiser les hyperparamètres et valider par validation croisée
- Comparer rigoureusement plusieurs modèles
Public visé
Développeurs et modélisateurs IA
Prérequis
Non précisé
Programme
Les travaux pratiques s’appuient sur un dossier de modélisation en Python : données, modèle initial et contraintes métier. Les participants construisent un protocole d’évaluation, comparent plusieurs solutions et documentent leur recommandation. Le jeu de test final reste réservé à l’évaluation de la solution retenue.
Module 1 : Le problème métier et les critères de performance
- Distinction entre qualité prédictive, utilité métier et contraintes d’utilisation.
- Problèmes de classification et de régression.
- Coût des erreurs, conséquences des faux positifs et des faux négatifs.
- Modèle de référence simple et niveau de performance à dépasser.
- Critères de comparaison : qualité, stabilité, temps de calcul et complexité.
- Conditions de réussite et limites acceptables pour le contexte étudié.
Module 2 : Les données et la fiabilité du protocole d’évaluation
- Séparation des données d’apprentissage, de validation et de test.
- Représentativité, doublons et dépendances entre observations.
- Découpage adapté aux classes, aux groupes et à la chronologie.
- Fuites de données liées aux variables, au prétraitement ou à la sélection des caractéristiques.
- Pipelines intégrant les transformations dans chaque étape d’apprentissage.
- Traçabilité des jeux de données et des décisions de préparation.
Audit de notebook : Repérer les erreurs d’un protocole donnant des scores artificiellement élevés, puis corriger le découpage et le pipeline avant toute nouvelle comparaison.
Module 3 : Les métriques et l’interprétation des résultats
- Classification : accuracy, précision, rappel, F1-score et matrice de confusion.
- Courbes ROC et précision-rappel, avec prise en compte du déséquilibre des classes.
- Régression : MAE, RMSE et interprétation des erreurs dans l’unité du problème.
- Scores globaux et performances sur les catégories ou situations importantes.
- Limites d’une métrique unique et mise en relation avec les conséquences métier.
- Analyse des exemples mal prédits et des erreurs récurrentes.
Exercice comparatif : Évaluer plusieurs prédictions sur un même jeu de données et expliquer pourquoi le modèle ayant le meilleur score global n’est pas nécessairement le plus adapté au besoin.
Module 4 : La validation croisée et le diagnostic du sur-apprentissage
- Principe de la validation croisée et choix des découpages.
- Validation stratifiée, par groupes et temporelle selon la structure des données.
- Comparaison des résultats d’apprentissage et de validation.
- Courbes d’apprentissage et de validation.
- Variabilité entre découpages et influence de l’aléatoire.
- Distinction entre score utilisé pour sélectionner une solution et estimation de sa performance finale.
Module 5 : L’optimisation des hyperparamètres
- Paramètres appris et hyperparamètres définis avant l’apprentissage.
- Construction d’un espace de recherche cohérent avec le modèle.
- Grid search et random search : fonctionnement, avantages et limites.
- Choix du score d’optimisation et prise en compte de contraintes complémentaires.
- Budget de calcul, suivi des essais et analyse des gains obtenus.
- Risques de sur-ajustement à la validation et intérêt d’une validation imbriquée selon le protocole retenu.
Atelier d’expérimentation : Optimiser le modèle initial avec deux stratégies de recherche, comparer les gains et les temps de calcul, puis identifier les paramètres réellement utiles.
Module 6 : La comparaison et la sélection des modèles
- Comparaison de plusieurs algorithmes sur les mêmes données et découpages.
- Stabilité des résultats et prudence face aux écarts faibles.
- Arbitrages entre performance, simplicité, interprétabilité et coût d’utilisation.
- Différence entre qualité des probabilités, calibration et choix du seuil de décision.
- Ajustement du seuil sur des données de validation selon les conséquences métier.
- Évaluation finale de la solution retenue sur le jeu de test réservé.
Étude de décision : Sélectionner une solution à partir des résultats du benchmark, justifier les compromis et examiner l’effet du seuil de décision avant l’évaluation finale.
Module 7 : La reproductibilité et la restitution des résultats
- Conservation des versions de données, du code, des paramètres et de l’environnement.
- Maîtrise de l’aléatoire et conditions de reproduction des expériences.
- Tableau comparatif des résultats, des temps de calcul et des limites.
- Rapport d’évaluation : protocole, métriques, erreurs et recommandation.
- Distinction entre performances mesurées sur le test et résultats futurs en utilisation réelle.
- Indicateurs et conditions nécessitant une nouvelle évaluation.
Restitution : Produire un rapport reproductible et défendre la recommandation retenue en présentant les résultats, les incertitudes et les limites du protocole.
Méthodes pédagogiques
- Apports structurés et études de cas concrets
- Ateliers pratiques et labs sur plateforme de pratique
- Jusqu'à 70 % de pratique sur les modules techniques
- Supports fournis et accès aux environnements d'entraînement
Modalités d'évaluation
- Test de positionnement en amont
- Évaluations continues (QCM, travaux pratiques)
- Évaluation de fin de formation et attestation
Votre formateur
Cette formation est animée par l'un de nos formateurs experts du domaine. Nos formateurs sont des praticiens en activité, au sein d'ACENSI, ESN de 2 500 consultants, ou de notre réseau d'experts partenaires : ils interviennent au quotidien sur les sujets qu'ils enseignent, et transmettent des méthodes éprouvées sur des projets réels plutôt que des connaissances théoriques. Chaque intervenant est sélectionné pour son expertise technique, son expérience opérationnelle et ses qualités pédagogiques.
Prochaines sessions
du 17 au 19 mars 2027
Clermont-Ferrand · Présentiel ou à distance
S'inscriredu 9 au 11 juin 2027
Versailles · Présentiel ou à distance
S'inscrire
Modalités pratiques
- Présentiel, Distanciel synchrone, Hybride
- Inter-entreprises, Intra-entreprise
- Versailles, La Défense (Tour Canopy), Clermont-Ferrand
- De 2 à 12 participants
- Français
Financement
Cette formation peut être financée par :
- OPCO de votre branche professionnelle, pour les salariés
- Plan de développement des compétences de votre entreprise
- France Travail (AIF), pour les demandeurs d'emploi
- Transitions Pro, dans le cadre d'un projet de reconversion professionnelle
Nous vous accompagnons dans le montage de votre dossier de financement.
Financement OPCO ou CPF : prévoyez idéalement 2 mois avant la session.
Accessibilité et handicap
Toutes nos formations sont accessibles aux personnes en situation de handicap. Avant votre inscription, notre référent handicap étudie avec vous vos besoins et les adaptations possibles : aménagement du rythme et des modalités, adaptation des supports, accessibilité des locaux, et recours si nécessaire à des partenaires spécialisés. Nos trois sites sont accessibles aux personnes à mobilité réduite.
Référent handicap : Benjamin BONNET — handicap@acensi.fr
Formations associées
Optimiser les performances IA (GPU, CUDA, NumPy avancé)
Réduire les temps de calcul de l'IA grâce au GPU et à la vectorisation.
- 4 jours
- Expert
- 3 sites · à distance
Prochaine session : 30 novembre 2026
3 480 € TTC
VoirMLOps : superviser les modèles en production (MLflow, W&B)
Garder la trace de ce qui tourne en production avec MLflow et Weights & Biases.
- 3 jours
- Intermédiaire
- 3 sites · à distance
Prochaine session : 12 mai 2027
2 880 € TTC
VoirRenforcer la fiabilité et la sécurité de vos modèles
Fiabiliser et sécuriser des modèles d'IA qui doivent tenir en production.
- 3 jours
- Intermédiaire
- 3 sites · à distance
Prochaine session : 12 mai 2027
2 880 € TTC
Voir