Cours · Ouverture des cours et des parcours disponibles
Traiter des Teraoctets de données. Calcul distribué, RDDs vs DataFrames et le Lazy Evaluation.
Données pédagogiques publiées
Aucun objectif pédagogique n’est publié pour ce cours. Les titres de leçons ne sont pas transformés automatiquement en promesses d’apprentissage.
Structure publiée
1 module(s) · 25 leçon(s)
25 leçon(s) · 2h 5min
Le Big Data, c'est quoi le problème ? (L'analogie de la plage)
Comprendre pourquoi un ordinateur normal plante face à des données massives grâce à une analogie simple : compter les grains de sable sur une plage. Introduction intuitive des 3V (Volume, Vélocité, Variété).
Le calcul distribué : Travailler en équipe pour gérer le Big Data
Découvrez comment le calcul distribué résout les problèmes de Big Data en utilisant une équipe d'ordinateurs (cluster) qui se partagent le travail. Apprenez les concepts fondamentaux avec des analogies claires et des exemples pratiques.
Premiers pas avec PySpark : Allumer la machine
Installer PySpark en local (mode simple) et créer ta première SparkSession - le point de départ de tout. Écrire et exécuter ton premier script PySpark 'Hello World'.
La brique de base (1) : Le DataFrame, ton nouveau tableau Excel
Découvre le DataFrame PySpark, une structure de données tabulaire essentielle pour manipuler des données massives. Apprends à le créer depuis une liste Python et comprends ses similitudes avec Excel et pandas.
Le DataFrame DISTRIBUÉ : Comment PySpark découpe automatiquement tes données massives
Découvre comment PySpark transforme ton gros DataFrame en morceaux distribués sur un cluster. Apprends à visualiser ce découpage et comprends la magie du traitement distribué pour les données massives.
Lire des données depuis un fichier CSV
Apprendre à charger des données réelles depuis un fichier CSV dans un DataFrame PySpark en utilisant `spark.read`. Gérer les en-têtes, les types de données et les erreurs de lecture.
Explorer ses données : Un premier coup d'œil avec PySpark
Apprenez à utiliser les méthodes essentielles .show(), .count(), .printSchema() et .describe() pour explorer rapidement la structure et le contenu de vos DataFrames PySpark. Comprenez comment ces outils vous donnent une vision claire de vos données massives avant de les analyser.
Filtrer les lignes : Garder seulement ce qui t'intéresse
Maîtriser l'opération .filter() (ou where()) pour sélectionner un sous-ensemble de lignes selon des conditions. Comprendre la syntaxe des conditions PySpark et leur application dans le traitement distribué de données massives.
Sélectionner et renommer des colonnes avec PySpark
Apprenez à manipuler les colonnes de vos DataFrames PySpark avec les méthodes .select(), .withColumnRenamed() et .withColumn(). Découvrez comment choisir, renommer et créer des colonnes pour structurer vos données massives efficacement.
Les types de données en PySpark : Éviter les mauvaises surprises
Comprendre les types de données (StringType, IntegerType, etc.) dans PySpark et leur importance. Apprendre à caster une colonne d'un type à un autre pour des calculs corrects.
Gérer les valeurs manquantes (NULL) - Partie 1 : Détecter et compter les données absentes
Découvrez comment PySpark représente les données absentes (null). Apprenez à identifier, compter et localiser les valeurs manquantes dans vos datasets massifs pour éviter les erreurs d'analyse.
Gérer les valeurs manquantes (NULL) - Partie 2 : Supprimer ou remplacer avec PySpark
Apprenez à nettoyer vos données massives en supprimant les lignes avec des valeurs NULL (dropna) ou en les remplaçant par des valeurs par défaut (fillna). Découvrez comment choisir la stratégie adaptée à votre contexte d'analyse.
Trier et limiter les résultats avec PySpark : Ordonner et filtrer efficacement des données massives
Apprends à organiser tes données avec .orderBy() pour les trier par ordre croissant ou décroissant, et à utiliser .limit() pour restreindre l'affichage des résultats. Ces opérations essentielles améliorent la lisibilité et optimisent les performances dans le traitement Big Data.
Agréger des données : Les opérations de groupe (GROUP BY)
Apprends à utiliser GROUP BY avec PySpark pour regrouper et résumer des données massives. Découvre comment compter, sommer et calculer des moyennes par catégories pour extraire des insights significatifs.
Joindre deux DataFrames (Fusionner des tables)
Apprendre à combiner des informations provenant de deux DataFrames différents grâce aux jointures (joins) : inner, left, right. Analogie avec la fusion de deux listes d'élèves.
Écrire (sauvegarder) tes résultats : Sauvegarder ton DataFrame transformé dans différents formats
Découvre comment sauvegarder ton DataFrame PySpark transformé dans différents formats (CSV, Parquet) en utilisant `.write`. Comprends la différence cruciale entre les modes 'overwrite' et 'append' pour gérer tes données massives efficacement.
Le format Parquet : Pourquoi c'est le meilleur ami du Big Data
Découvrez pourquoi Parquet est le format de fichier optimal pour le Big Data grâce à son stockage colonnaire et sa compression. Apprenez à lire et écrire des fichiers Parquet avec PySpark pour gagner en performance et économiser de l'espace.
Le moteur invisible : La Lazy Evaluation
Découvrez le principe fondamental de PySpark : la lazy evaluation. Comprenez comment PySpark optimise les performances en ne calculant rien tant que vous ne le demandez pas explicitement, et explorez le plan logique qui orchestre ces optimisations.
Forcer le calcul : Les Actions vs les Transformations
Découvrez la différence fondamentale entre les transformations (paresseuses) et les actions (qui déclenchent le calcul) en PySpark. Apprenez quand et pourquoi utiliser une action pour optimiser vos traitements Big Data.
Fonctions définies par l'utilisateur (UDF) - Partie 1 : Créer et appliquer des fonctions personnalisées en PySpark
Apprends à créer tes propres fonctions personnalisées (UDF) pour appliquer une logique complexe qui n'existe pas dans PySpark. Découvre comment enregistrer et appliquer une UDF simple sur une colonne de DataFrame.
Fonctions définies par l'utilisateur (UDF) - Partie 2 : Bonnes pratiques et alternatives natives
Découvrez les limitations de performance des UDF Python et apprenez à utiliser les fonctions natives de PySpark pour optimiser vos traitements Big Data. Explorez les UDF vectorielles comme solution intermédiaire.
Window Functions : Des calculs avancés dans ton groupe
Apprends à utiliser les fonctions de fenêtre (Window Functions) pour effectuer des calculs complexes comme des classements, sommes cumulées ou moyennes mobiles au sein d'un groupe de données, sans modifier la structure de ton DataFrame.
Projet Guidé 1 : Analyser un dataset de films avec PySpark
Mets en pratique toutes les compétences PySpark acquises dans un projet concret d'analyse de données massives. Tu vas charger, nettoyer, explorer et analyser un dataset de films pour répondre à des questions business pertinentes.
Projet Guidé 2 : Nettoyer et préparer des logs web pour l'analyse de fréquentation
Un projet pratique complet où vous allez traiter un fichier de logs web désordonné : parser les dates, extraire des informations structurées, gérer les erreurs de format, et agréger la fréquentation par heure pour obtenir des insights exploitables.
Projet Final : Ton propre mini-projet d'analyse Big Data avec PySpark
Synthèse et autonomie. À partir d'un jeu de données fourni et d'une problématique ouverte, tu concevras et exécuteras ton propre pipeline d'analyse de A à Z, en justifiant tes choix et en présentant tes insights.
Les ressources du cours sont disponibles après validation de l’accès au contenu.