Spark

Objectifs

S'initier à Apache Spark

Comprendre le traitement de données batch avec Spark

Explorer le traitement en temps réel avec Spark Streaming

Découvrir le traitement de graphes avec Spark GraphX

Pratiquer l'apprentissage automatique avec Spark MLlib

Intégrer et déployer des applications Spark

Programme de la formation

S'initier à Apache Spark

- Présenter Apache Spark et ses caractéristiques clés

- Examiner l'historique et l'évolution de Spark

- Décrire l'architecture de base de Spark et ses composants

- Comparer Spark avec d'autres systèmes de traitement de données

- Illustrer les cas d'utilisation courants de Spark dans différentes industries

- Expliquer l'écosystème Spark et ses projets connexes

Comprendre le traitement de données batch avec Spark

- Comprendre les concepts du traitement de données batch

- Manipuler les données avec les Resilient Distributed Datasets (RDD)

- Effectuer des opérations de transformation et d'action sur les RDD

- Utiliser Spark SQL pour le traitement de données structurées

- Optimiser les performances du traitement de données batch

- Intégrer des sources de données externes avec Spark

Explorer le traitement en temps réel avec Spark Streaming

- Découvrir le traitement en temps réel avec Spark Streaming

- Créer des flux de données en continu avec DStreams

- Utiliser les opérations de fenêtrage pour l'analyse en temps réel

- Gérer les fenêtres glissantes et temporelles

- Intégrer des sources de données en streaming

- Appliquer des pratiques de conception pour le traitement en temps réel avec Spark

Découvrir le traitement de graphes avec Spark GraphX

- Introduire le traitement de graphes avec Spark GraphX

- Représenter et manipuler les graphes avec GraphX

- Réaliser des calculs de graphes et explorer les algorithmes courants

- Utiliser GraphFrames pour l'analyse de graphes

- Examiner des applications pratiques du traitement de graphes dans divers domaines

- Optimiser les performances pour le traitement de graphes

Pratiquer l'apprentissage automatique avec Spark MLlib

- Présenter l'apprentissage automatique avec Spark MLlib

- Préparer et transformer les données pour l'apprentissage automatique

- Entraîner des modèles de régression, de classification et de clustering

- Utiliser des pipelines pour créer des flux de travail d'apprentissage automatique

- Évaluer et ajuster les modèles en utilisant des métriques de performance

- Intégrer des algorithmes d'apprentissage profond avec Spark

Intégrer et déployer des applications Spark

- Intégrer Spark avec des systèmes de stockage et de traitement de données

- Utiliser des outils de gestion de clusters pour déployer Spark

- Créer des applications Spark autonomes et distribuées

- Optimiser les ressources et configurer le cluster

- Surveiller et gérer les performances des applications Spark

- Déployer des applications Spark sur des environnements cloud

Validation et sanction

Attestation de formation

Type de formation

Non certifiante

Sortie

Sans niveau spécifique