Aller au contenu principal
ACENSILearning

Intelligence artificielle · Machine learning et MLOps

Optimiser et évaluer les performances de vos modèles

Savoir si un modèle est bon, et le rendre meilleur.

  • Intermédiaire

3 jours (21 h) · Présentiel / Distanciel synchrone / Hybride · Français · 2 880 € TTC · Réf. INT-0116

2 880 € TTC

Voir les dates

Prochaine session

du 17 au 19 mars 2027 · Clermont-Ferrand · Présentiel ou à distance

Toutes les dates

En quelques mots

Savoir si un modèle est bon, et le rendre meilleur. La formation traite le choix des métriques selon le problème posé, la lecture des matrices de confusion et des courbes ROC, la recherche d'hyperparamètres, la validation croisée et la comparaison rigoureuse de plusieurs modèles.

Objectifs pédagogiques

  • Choisir les métriques adaptées au problème
  • Interpréter matrices de confusion et courbes ROC
  • Optimiser les hyperparamètres et valider par validation croisée
  • Comparer rigoureusement plusieurs modèles

Public visé

Développeurs et modélisateurs IA

Prérequis

Non précisé

Programme

Les travaux pratiques s’appuient sur un dossier de modélisation en Python : données, modèle initial et contraintes métier. Les participants construisent un protocole d’évaluation, comparent plusieurs solutions et documentent leur recommandation. Le jeu de test final reste réservé à l’évaluation de la solution retenue.

  1. Module 1 : Le problème métier et les critères de performance

    • Distinction entre qualité prédictive, utilité métier et contraintes d’utilisation.
    • Problèmes de classification et de régression.
    • Coût des erreurs, conséquences des faux positifs et des faux négatifs.
    • Modèle de référence simple et niveau de performance à dépasser.
    • Critères de comparaison : qualité, stabilité, temps de calcul et complexité.
    • Conditions de réussite et limites acceptables pour le contexte étudié.
  2. Module 2 : Les données et la fiabilité du protocole d’évaluation

    • Séparation des données d’apprentissage, de validation et de test.
    • Représentativité, doublons et dépendances entre observations.
    • Découpage adapté aux classes, aux groupes et à la chronologie.
    • Fuites de données liées aux variables, au prétraitement ou à la sélection des caractéristiques.
    • Pipelines intégrant les transformations dans chaque étape d’apprentissage.
    • Traçabilité des jeux de données et des décisions de préparation.

    Audit de notebook : Repérer les erreurs d’un protocole donnant des scores artificiellement élevés, puis corriger le découpage et le pipeline avant toute nouvelle comparaison.

  3. Module 3 : Les métriques et l’interprétation des résultats

    • Classification : accuracy, précision, rappel, F1-score et matrice de confusion.
    • Courbes ROC et précision-rappel, avec prise en compte du déséquilibre des classes.
    • Régression : MAE, RMSE et interprétation des erreurs dans l’unité du problème.
    • Scores globaux et performances sur les catégories ou situations importantes.
    • Limites d’une métrique unique et mise en relation avec les conséquences métier.
    • Analyse des exemples mal prédits et des erreurs récurrentes.

    Exercice comparatif : Évaluer plusieurs prédictions sur un même jeu de données et expliquer pourquoi le modèle ayant le meilleur score global n’est pas nécessairement le plus adapté au besoin.

  4. Module 4 : La validation croisée et le diagnostic du sur-apprentissage

    • Principe de la validation croisée et choix des découpages.
    • Validation stratifiée, par groupes et temporelle selon la structure des données.
    • Comparaison des résultats d’apprentissage et de validation.
    • Courbes d’apprentissage et de validation.
    • Variabilité entre découpages et influence de l’aléatoire.
    • Distinction entre score utilisé pour sélectionner une solution et estimation de sa performance finale.
  5. Module 5 : L’optimisation des hyperparamètres

    • Paramètres appris et hyperparamètres définis avant l’apprentissage.
    • Construction d’un espace de recherche cohérent avec le modèle.
    • Grid search et random search : fonctionnement, avantages et limites.
    • Choix du score d’optimisation et prise en compte de contraintes complémentaires.
    • Budget de calcul, suivi des essais et analyse des gains obtenus.
    • Risques de sur-ajustement à la validation et intérêt d’une validation imbriquée selon le protocole retenu.

    Atelier d’expérimentation : Optimiser le modèle initial avec deux stratégies de recherche, comparer les gains et les temps de calcul, puis identifier les paramètres réellement utiles.

  6. Module 6 : La comparaison et la sélection des modèles

    • Comparaison de plusieurs algorithmes sur les mêmes données et découpages.
    • Stabilité des résultats et prudence face aux écarts faibles.
    • Arbitrages entre performance, simplicité, interprétabilité et coût d’utilisation.
    • Différence entre qualité des probabilités, calibration et choix du seuil de décision.
    • Ajustement du seuil sur des données de validation selon les conséquences métier.
    • Évaluation finale de la solution retenue sur le jeu de test réservé.

    Étude de décision : Sélectionner une solution à partir des résultats du benchmark, justifier les compromis et examiner l’effet du seuil de décision avant l’évaluation finale.

  7. Module 7 : La reproductibilité et la restitution des résultats

    • Conservation des versions de données, du code, des paramètres et de l’environnement.
    • Maîtrise de l’aléatoire et conditions de reproduction des expériences.
    • Tableau comparatif des résultats, des temps de calcul et des limites.
    • Rapport d’évaluation : protocole, métriques, erreurs et recommandation.
    • Distinction entre performances mesurées sur le test et résultats futurs en utilisation réelle.
    • Indicateurs et conditions nécessitant une nouvelle évaluation.

    Restitution : Produire un rapport reproductible et défendre la recommandation retenue en présentant les résultats, les incertitudes et les limites du protocole.

Méthodes pédagogiques

  • Apports structurés et études de cas concrets
  • Ateliers pratiques et labs sur plateforme de pratique
  • Jusqu'à 70 % de pratique sur les modules techniques
  • Supports fournis et accès aux environnements d'entraînement

Modalités d'évaluation

  • Test de positionnement en amont
  • Évaluations continues (QCM, travaux pratiques)
  • Évaluation de fin de formation et attestation

Votre formateur

Cette formation est animée par l'un de nos formateurs experts du domaine. Nos formateurs sont des praticiens en activité, au sein d'ACENSI, ESN de 2 500 consultants, ou de notre réseau d'experts partenaires : ils interviennent au quotidien sur les sujets qu'ils enseignent, et transmettent des méthodes éprouvées sur des projets réels plutôt que des connaissances théoriques. Chaque intervenant est sélectionné pour son expertise technique, son expérience opérationnelle et ses qualités pédagogiques.

Prochaines sessions

  • du 17 au 19 mars 2027

    Clermont-Ferrand · Présentiel ou à distance

    S'inscrire
  • du 9 au 11 juin 2027

    Versailles · Présentiel ou à distance

    S'inscrire

Modalités pratiques

Modalités
Présentiel, Distanciel synchrone, Hybride
Formats
Inter-entreprises, Intra-entreprise
Lieux
Versailles, La Défense (Tour Canopy), Clermont-Ferrand
Effectif
De 2 à 12 participants
Langue
Français

Financement

Cette formation peut être financée par :

  • OPCO de votre branche professionnelle, pour les salariés
  • Plan de développement des compétences de votre entreprise
  • France Travail (AIF), pour les demandeurs d'emploi
  • Transitions Pro, dans le cadre d'un projet de reconversion professionnelle

Nous vous accompagnons dans le montage de votre dossier de financement.

Financement OPCO ou CPF : prévoyez idéalement 2 mois avant la session.

Accessibilité et handicap

Toutes nos formations sont accessibles aux personnes en situation de handicap. Avant votre inscription, notre référent handicap étudie avec vous vos besoins et les adaptations possibles : aménagement du rythme et des modalités, adaptation des supports, accessibilité des locaux, et recours si nécessaire à des partenaires spécialisés. Nos trois sites sont accessibles aux personnes à mobilité réduite.

Référent handicap : Benjamin BONNET — handicap@acensi.fr