Aller au contenu principal
ACENSILearning

Intelligence artificielle · Machine learning et MLOps

MLOps : superviser les modèles en production (MLflow, W&B)

Garder la trace de ce qui tourne en production avec MLflow et Weights & Biases.

  • Intermédiaire

3 jours (21 h) · Présentiel / Distanciel synchrone / Hybride · Français · 2 880 € TTC · Réf. INT-0047

2 880 € TTC

Voir les dates

Prochaine session

du 12 au 14 mai 2027 · Versailles · Présentiel ou à distance

Toutes les dates

En quelques mots

Garder la trace de ce qui tourne en production. Au programme : mise en place de MLFlow Tracking, journalisation des hyperparamètres, des métriques et des jeux de données, comparaison des expériences, surveillance automatisée de la dérive, usage de Weights & Biases et rapports d'audit.

Objectifs pédagogiques

  • Suivre et comparer ses expériences de machine learning
  • Journaliser hyperparamètres, métriques et jeux de données
  • Surveiller la dérive des modèles en production
  • Produire des rapports de suivi et d'audit

Public visé

Non précisé

Prérequis

Non précisé

Programme

La formation s’appuie sur un modèle et une application de prédiction fournis, avec des données non sensibles simulant plusieurs périodes d’utilisation. Les participants mettent en place la traçabilité avec MLflow, construisent des contrôles de suivi et exploitent W&B pour partager les résultats. Un scénario d’incident permet de tester les décisions et la procédure de retour à une version antérieure.

  1. Module 1 : Le cycle de vie et l’architecture du suivi

    • Distinction entre suivi des expériences, registre des modèles et surveillance en production.
    • Liens entre données, code, environnement, modèle et service de prédiction.
    • Rôles des équipes data, développement, exploitation et métier.
    • Architecture d’un dispositif de suivi : collecte, stockage, calcul des indicateurs et restitution.
    • Fonctions de MLflow et de Weights & Biases, complémentarité avec les scripts et outils de surveillance.
    • Droits d’accès, informations sensibles et règles de conservation.
  2. Module 2 : La journalisation des expériences avec MLflow

    • Organisation des expériences et des runs.
    • Enregistrement des paramètres, métriques, tags et fichiers produits.
    • Références aux jeux de données et aux versions du code.
    • Description de l’environnement et conditions de reproduction.
    • Journalisation automatique et contrôles complémentaires nécessaires.
    • Comparaison des runs à partir d’informations cohérentes et complètes.

    Atelier : Instrumenter plusieurs exécutions du modèle fourni avec MLflow, comparer les résultats et reconstituer les conditions d’une expérience sélectionnée.

  3. Module 3 : Les versions de modèles et la préparation à l’utilisation

    • Enregistrement des modèles et lien avec leurs expériences d’origine.
    • Versions, métadonnées, signatures d’entrée et de sortie.
    • Dépendances et vérification du chargement dans un autre environnement.
    • Alias et tags pour identifier les versions candidates et retenues.
    • Critères de validation avant changement de version.
    • Contrôles de compatibilité et procédure de retour à une version antérieure.

    Mise en pratique : Enregistrer deux versions dans le registre MLflow, vérifier leur interface de prédiction et préparer un changement de version avec une procédure de retour arrière.

  4. Module 4 : Les indicateurs de fonctionnement et de qualité

    • Disponibilité, latence, erreurs et volume de prédictions.
    • Qualité des entrées : schéma, valeurs manquantes, plages et catégories.
    • Distribution des prédictions et suivi des situations inhabituelles.
    • Mesure des performances lorsque les résultats réels deviennent disponibles.
    • Délai de réception des résultats, rapprochement avec les prédictions et données incomplètes.
    • Collecte des indicateurs sans journalisation excessive des données individuelles.
  5. Module 5 : La détection des dérives et les alertes

    • Données de référence, périodes courantes et fenêtres de comparaison.
    • Dérive des variables, évolution des prédictions et changement de la relation entre entrées et résultats.
    • Tests et mesures adaptés aux variables et au volume d’observations.
    • Distinction entre changement statistique, anomalie de données et baisse de performance.
    • Seuils, fréquence des contrôles et prévention des alertes inutiles.
    • Investigations nécessaires avant correction ou réentraînement.

    Atelier de surveillance : Construire des contrôles sur plusieurs lots de données simulées, déclencher des alertes et distinguer un défaut de collecte, une évolution de population et une dégradation du modèle.

  6. Module 6 : La visualisation et les rapports avec W&B

    • Journalisation des métriques et organisation des runs dans W&B.
    • Versionnement des fichiers de données et de modèles avec les Artifacts.
    • Traçabilité des ressources consommées et produites.
    • Tableaux et visualisations pour explorer les résultats et les erreurs.
    • Rapports associant graphiques, contexte et conclusions.
    • Partage, droits d’accès et conservation des références aux versions étudiées.

    Atelier de restitution : Construire un tableau de suivi et un rapport W&B à partir des résultats du cas étudié, en reliant les constats aux données et versions concernées.

  7. Module 7 : Les incidents et l’évolution des modèles

    • Qualification d’une alerte et répartition des responsabilités d’investigation.
    • Mesures immédiates : restriction, suspension ou fonctionnement de secours.
    • Comparaison d’une nouvelle version à la version utilisée.
    • Conditions de réentraînement et contrôles avant remise en service.
    • Retour arrière, vérification de la reprise et traçabilité de l’intervention.
    • Bilan d’incident et ajustement des contrôles de suivi.

    Simulation d’incident : Analyser une dégradation signalée, choisir une mesure de continuité et tester le retour à une version antérieure dans l’environnement de formation, puis documenter la décision.

Méthodes pédagogiques

  • Apports structurés et études de cas concrets
  • Ateliers pratiques et labs sur plateforme de pratique
  • Jusqu'à 70 % de pratique sur les modules techniques
  • Supports fournis et accès aux environnements d'entraînement

Modalités d'évaluation

  • Test de positionnement en amont
  • Évaluations continues (QCM, travaux pratiques)
  • Évaluation de fin de formation et attestation

Votre formateur

Cette formation est animée par l'un de nos formateurs experts du domaine. Nos formateurs sont des praticiens en activité, au sein d'ACENSI, ESN de 2 500 consultants, ou de notre réseau d'experts partenaires : ils interviennent au quotidien sur les sujets qu'ils enseignent, et transmettent des méthodes éprouvées sur des projets réels plutôt que des connaissances théoriques. Chaque intervenant est sélectionné pour son expertise technique, son expérience opérationnelle et ses qualités pédagogiques.

Prochaines sessions

  • du 12 au 14 mai 2027

    Versailles · Présentiel ou à distance

    S'inscrire
  • du 28 au 30 juin 2027

    La Défense (Tour Canopy) · Présentiel ou à distance

    S'inscrire

Modalités pratiques

Modalités
Présentiel, Distanciel synchrone, Hybride
Formats
Inter-entreprises, Intra-entreprise
Lieux
Versailles, La Défense (Tour Canopy), Clermont-Ferrand
Effectif
De 2 à 12 participants
Langue
Français

Financement

Cette formation peut être financée par :

  • OPCO de votre branche professionnelle, pour les salariés
  • Plan de développement des compétences de votre entreprise
  • France Travail (AIF), pour les demandeurs d'emploi
  • Transitions Pro, dans le cadre d'un projet de reconversion professionnelle

Nous vous accompagnons dans le montage de votre dossier de financement.

Financement OPCO ou CPF : prévoyez idéalement 2 mois avant la session.

Accessibilité et handicap

Toutes nos formations sont accessibles aux personnes en situation de handicap. Avant votre inscription, notre référent handicap étudie avec vous vos besoins et les adaptations possibles : aménagement du rythme et des modalités, adaptation des supports, accessibilité des locaux, et recours si nécessaire à des partenaires spécialisés. Nos trois sites sont accessibles aux personnes à mobilité réduite.

Référent handicap : Benjamin BONNET — handicap@acensi.fr