Aller au contenu principal
ACENSILearning

Données et décisionnel · Bases de données et analyse

Big data : traitement de données massives (Hadoop, Spark, Kafka)

Traiter des données massives de bout en bout avec Hadoop, Spark et Kafka.

  • Expert

4 jours (28 h) · Présentiel / Distanciel synchrone / Hybride · Français · 3 480 € TTC · Réf. DON-0061

3 480 € TTC

Voir les dates

Prochaine session

du 23 au 26 mars 2027 · La Défense (Tour Canopy) · Présentiel ou à distance

Toutes les dates

En quelques mots

Traiter des données massives de bout en bout : concepts et enjeux du big data (volumétrie, variété, vélocité, cas d'usage), architectures distribuées (stockage et calcul, cluster, tolérance aux pannes), Hadoop (HDFS, MapReduce, écosystème), Spark (traitement en mémoire, RDD et DataFrames, jobs batch), traitement de flux en temps réel avec Kafka, orchestration des traitements avec Airflow, formats de données et stockage analytique, puis atelier de construction d'une chaîne d'ingestion, de traitement et de restitution.

Objectifs pédagogiques

  • Comprendre les architectures distribuées
  • Traiter des données avec Hadoop et Spark
  • Gérer des flux temps réel avec Kafka
  • Orchestrer une chaîne de traitement complète

Public visé

Data engineers, développeurs Big Data

Prérequis

Connaissances en bases de données et programmation

Programme

Une chaîne de traitement d’événements sert de cas fil rouge. L’environnement Hadoop, Spark, Kafka et Airflow est préparé ; les participants construisent des traitements batch et de flux, puis vérifient leur comportement face à des données incorrectes et à des interruptions.

  1. Module 1 : Les besoins et les architectures de traitement distribué

    • Volume, variété et vitesse d’arrivée des données ; critères justifiant une architecture distribuée.
    • Traitements batch et traitements de flux selon les délais attendus.
    • Répartition du stockage et du calcul, parallélisme et tolérance aux pannes.
    • Positionnement des entrepôts, data lakes et architectures lakehouse.

    Étude de cas : Définir les besoins de la chaîne fournie et justifier les traitements à réaliser par lots ou en flux.

  2. Module 2 : Hadoop et le stockage distribué

    • Rôles de HDFS, de YARN et de MapReduce dans l’écosystème Hadoop.
    • Blocs, réplication et fonctionnement général des composants HDFS.
    • Chargement, consultation et organisation des fichiers.
    • Limites liées aux petits fichiers et comparaison avec le stockage objet.

    Travaux pratiques : Charger les données du cas dans HDFS et observer leur organisation ainsi que les mécanismes de réplication.

  3. Module 3 : Les traitements batch avec Spark

    • Architecture Spark : driver, executors, tâches et partitions.
    • DataFrames et Spark SQL ; positionnement des RDD.
    • Transformations, actions et exécution différée.
    • Lecture, nettoyage, jointures et agrégations sur les données du cas.

    Travaux pratiques : Construire un traitement batch produisant des indicateurs à partir des événements fournis.

  4. Module 4 : Les formats, le partitionnement et les performances

    • Formats CSV, JSON et Parquet selon les usages.
    • Stockage en colonnes, compression et lecture des seuls champs nécessaires.
    • Partitionnement des données et effets sur les volumes lus.
    • Shuffles, répartition inégale des données et utilisation raisonnée du cache.

    Expérimentation : Comparer deux organisations des mêmes données à l’aide des temps d’exécution et des informations de l’interface Spark.

  5. Module 5 : Kafka et l’ingestion des événements

    • Topics, partitions, clés, producteurs et groupes de consommateurs.
    • Offsets, rétention et possibilités de relecture.
    • Ordre des événements au sein d’une partition et conséquences du choix de la clé.
    • Formats des messages, évolution des schémas et traitement des messages invalides.

    Travaux pratiques : Produire et consommer les événements du cas, puis reprendre la lecture à partir d’une position identifiée.

  6. Module 6 : Le traitement de flux avec Spark Structured Streaming

    • Lecture d’un flux Kafka et traitements en micro-batch.
    • Temps de l’événement, fenêtres d’agrégation et données arrivant en retard.
    • Watermarks, conservation de l’état et arbitrages entre délai et complétude.
    • Checkpoints, reprise après interruption et risques de doublons selon les sources et les destinations.

    Travaux pratiques : Calculer un indicateur temporel sur le flux, injecter des événements tardifs et observer le résultat après interruption puis reprise.

  7. Module 7 : L’orchestration et les contrôles avec Airflow

    • DAG, tâches, dépendances et planification des traitements finis.
    • Coordination des chargements et des traitements batch ; distinction avec le moteur de streaming.
    • Paramètres, reprises sur erreur et réexécution sans duplication des résultats.
    • Contrôles de qualité, journalisation, alertes et gestion des accès aux données.
  8. Module 8 : La validation et l’exploitation de la chaîne

    • Assemblage des étapes d’ingestion, de transformation, de stockage et de restitution.
    • Contrôles des volumes, des doublons, des rejets et de la fraîcheur des résultats.
    • Diagnostic des ralentissements et suivi des ressources utilisées.
    • Documentation des configurations, des limites et des procédures de reprise.

    Simulation d’incident et restitution : Orchestrer la partie batch de la chaîne, provoquer une interruption et vérifier la reprise. Présenter les résultats, les anomalies détectées et les limites de fiabilité observées sur les différents traitements.

Méthodes pédagogiques

  • Apports structurés et études de cas concrets
  • Ateliers pratiques et labs sur plateforme de pratique
  • Jusqu'à 70 % de pratique sur les modules techniques
  • Supports fournis et accès aux environnements d'entraînement

Modalités d'évaluation

  • Test de positionnement en amont
  • Évaluations continues (QCM, travaux pratiques)
  • Évaluation de fin de formation et attestation

Votre formateur

Cette formation est animée par l'un de nos formateurs experts du domaine. Nos formateurs sont des praticiens en activité, au sein d'ACENSI, ESN de 2 500 consultants, ou de notre réseau d'experts partenaires : ils interviennent au quotidien sur les sujets qu'ils enseignent, et transmettent des méthodes éprouvées sur des projets réels plutôt que des connaissances théoriques. Chaque intervenant est sélectionné pour son expertise technique, son expérience opérationnelle et ses qualités pédagogiques.

Prochaines sessions

  • du 23 au 26 mars 2027

    La Défense (Tour Canopy) · Présentiel ou à distance

    S'inscrire
  • du 14 au 17 juin 2027

    Versailles · Présentiel ou à distance

    S'inscrire

Modalités pratiques

Modalités
Présentiel, Distanciel synchrone, Hybride
Formats
Inter-entreprises, Intra-entreprise
Lieux
Versailles, La Défense (Tour Canopy), Clermont-Ferrand
Effectif
De 2 à 12 participants
Langue
Français

Financement

Cette formation peut être financée par :

  • OPCO de votre branche professionnelle, pour les salariés
  • Plan de développement des compétences de votre entreprise
  • France Travail (AIF), pour les demandeurs d'emploi
  • Transitions Pro, dans le cadre d'un projet de reconversion professionnelle

Nous vous accompagnons dans le montage de votre dossier de financement.

Financement OPCO ou CPF : prévoyez idéalement 2 mois avant la session.

Accessibilité et handicap

Toutes nos formations sont accessibles aux personnes en situation de handicap. Avant votre inscription, notre référent handicap étudie avec vous vos besoins et les adaptations possibles : aménagement du rythme et des modalités, adaptation des supports, accessibilité des locaux, et recours si nécessaire à des partenaires spécialisés. Nos trois sites sont accessibles aux personnes à mobilité réduite.

Référent handicap : Benjamin BONNET — handicap@acensi.fr