Analyse de données en environnement Hadoop
Date de mise à jour :
Identifiant Offre Info : 19_1803019534
Organisme responsable :
Data Value
(ouvre dans un nouvel onglet)
Présentation de la formation
Objectifs
Connaître le fonctionnement de Hadoop Distributed File System (HDFS) et YARN / MapReduce. Savoir explorer HDFS et suivre l'exécution d'une application YARN. Déterminer le fonctionnement et l'utilisation des différents outils de manipulation des données. Compétences visées Comprendre Hadoop et YARN Connaître les outils et frameworks d'un environnement Hadoop Appréhender MapReduce Exécuter une tâche MapReduce sur YARN Exécuter des…
Connaître le fonctionnement de Hadoop Distributed File System (HDFS) et YARN / MapReduce.
Savoir explorer HDFS et suivre l'exécution d'une application YARN.
Déterminer le fonctionnement et l'utilisation des différents outils de manipulation des données.
Compétences visées
- Comprendre Hadoop et YARN
- Connaître les outils et frameworks d'un environnement Hadoop
- Appréhender MapReduce
- Exécuter une tâche MapReduce sur YARN
- Exécuter des modifications en masse avec PIG
- Écrire des requêtes HIVE pour analyser les données
- Utiliser Sqoop pour transférer des données entre Hadoop et une base relationnelle
- Découvrir Oozie pour automatiser les processus
- Utiliser une base de données NoSQL (HBase)
Programme de la formation
Hadoop Comprendre Hadoop et son écosystème Impacts d'Hadoop dans un SI traditionnel Hadoop Distributed File System (HDFS) Introduction aux données dans HDFS Framework MapReduce et YARN Pig Introduction à Pig Programmation Pig avancée Troubleshooting et optimisation Résolution des problèmes avec Pig Utilisation de l'interface Web Hadoop Résolution d'un « Failed Job » avec l'interface Web Échantillonnage des données et débogage Performances et plan d'exécution Astuces…
- Comprendre Hadoop et son écosystème
- Impacts d'Hadoop dans un SI traditionnel
- Hadoop Distributed File System (HDFS)
- Introduction aux données dans HDFS
- Framework MapReduce et YARN
Pig
- Introduction à Pig
- Programmation Pig avancée
- Troubleshooting et optimisation
- Résolution des problèmes avec Pig
- Utilisation de l'interface Web Hadoop
- Résolution d'un « Failed Job » avec l'interface Web
- Échantillonnage des données et débogage
- Performances et plan d'exécution
- Astuces d'amélioration des « Pig Jobs »
Hive
- Programmation Hive
- Utilisation de HCatalog
- Programmation Hive avancée
- Extension de Hive
- Transformation des données avec des scripts personnalisés
- Fonctions définies par l'utilisateur
- Paramétrage des requêtes
- Exercices pratiques de transformation avec Hive
- Analyse des données et statistiques
Sqoop
- Import / export avec Sqoop (SGBDR ? HDFS)
- Fonctions avancées de Sqoop
- Définition de workflows avec Oozie
Optionnel (sous réserve de temps)
- Introduction à HBase
- Exemple d'ingestion de données avec l'ETL Talend
- Création d'un cluster Hadoop de test
Validation et sanction
Type de formation
Non certifiante
Niveau de sortie
Sans niveau spécifique
Durée, rythme, financement
Durée
En centre
21 h
Financement
- Conventionnement
- Oui
- Financeur
-
- Autre
Conditions d'accès
Public visé
- Tout public
Informations sur les publics
Data Scientists, Développeurs décisionnels, ...
Niveau d'entrée
Sans niveau spécifique
Conditions spécifiques et prérequis
Aucun\n\nProcédure d'admission: \nUn formulaire d'auto-évaluation proposé en amont de la formation nous permettra d'évaluer votre niveau et de recueillir vos attentes. Ce même formulaire soumis en aval de la formation fournira une appréciation de votre progression.
Lieu de réalisation de l'action
Modalités d'enseignement
Formation entièrement en présentielle
Adresse
41 rue de la DécouverteCS 37623
31676 Labège
Responsable : Data Value
Périodes prévisibles de déroulement des sessions
Début
Fin
- Adresse d'inscription
-
41 rue de la Découverte
31676 Labège - État du recrutement
- Ouvert
- Modalités
- Entrées / Sorties à dates fixes