Analyse de données en environnement Hadoop
Date de mise à jour :
Identifiant Offre Info : 03_2100653F
Organisme responsable :
Data Value
(ouvre dans un nouvel onglet)
Présentation de la formation
Objectifs
Connaitre les fonctionnements d'Hadoop Distributed File System (HDFS) et YARN / MapReduce Savoir explorer HDFS et suivre l'exécution d'une application YARN Déterminer les fonctionnements et l'utilisation les différents outils de manipulation des données Compétences visées : - Comprendre ce que sont Hadoop et YARN - Connaître les différents outils et les Framework dans un environnement Hadoop - Appréhender MapReduce - Comprendre comment exécuter une tâche de MapReduce…
Savoir explorer HDFS et suivre l'exécution d'une application YARN
Déterminer les fonctionnements et l'utilisation les différents outils de manipulation des données
Compétences visées :
- Comprendre ce que sont Hadoop et YARN
- Connaître les différents outils et les Framework dans un environnement Hadoop
- Appréhender MapReduce
- Comprendre comment exécuter une tâche de MapReduce sur YARN
- Exécuter des modifications en masse avec PIG
- Savoir écrire des requêtes pour HIVE afin d'analyser ses données
- Savoir utiliser Sqoop pour transférer les données entre Hadoop et une base de données relationnelle
- Découverte d'autres briques : automatiser vos process avec Oozie
- Utiliser une base de données No-SQL (HBase)
Programme de la formation
- Hadoop Comprendre Hadoop 2.0 et son écosystème Quels impacts de l'arrivée d'Hadoop dans un SI traditionnel ? Le Hadoop Distributed File System (HDFS) Introduction aux données dans HDFS MapReduce Framework et YARN - Pig Introduction à Pig Programmation Pig avancée Troubles hooting et optimisation avec Pig Résolution des problèmes avec Pig Utiliser l'UI Web d'Hadoop Démo optionnelle : résolution d'un « Failed Job » avec l'UI Web…
- Comprendre Hadoop 2.0 et son écosystème
- Quels impacts de l'arrivée d'Hadoop dans un SI traditionnel ?
- Le Hadoop Distributed File System (HDFS)
- Introduction aux données dans HDFS
- MapReduce Framework et YARN
- Introduction à Pig
- Programmation Pig avancée
- Troubles hooting et optimisation avec Pig
- Résolution des problèmes avec Pig
- Utiliser l'UI Web d'Hadoop
- Démo optionnelle : résolution d'un « Failed Job » avec l'UI Web
- Échantillonnage de données et débogage
- Vue d'ensemble des performances
- Comprendre le plan d'exécution
- Astuces pour améliorer la performance de vos « Pig Jobs »
- Programmation Hive
- Utilisation de HCatalog
- Programmation Hive avancée
- Étendre Hive
- Transformation de données avec des Scripts personnalisés
- Fonctions définies par l'utilisateur
- Paramétrer les requêtes
- Exercices « Hands-On » : transformation de données avec Hive
- Programmation Hive avancée (suite)
- Analyse de données et statistiques
- Import/Export avec Sqoop (SGBDR HDFS)
- Sqoop, fonctions avancées
- Définition de workflow avec Oozie
- Introduction à H-Base
- Exemple d'ingestion de données avec l'ETL Talend
- Créer son propre cluster Hadoop (plateforme de test).
Validation et sanction
Type de formation
Non certifiante
Niveau de sortie
Sans niveau spécifique
Durée, rythme, financement
Durée
En centre
21 h
Financement
- Conventionnement
- Non
- Financeurs
-
- Bénéficiaire de l'action
- Entreprise
Conditions d'accès
Publics visés
- Salarié
- Tout public
Informations sur les publics
Data Scientists, Développeurs décisionnels, ...
Niveau d'entrée
Sans niveau spécifique
Conditions spécifiques et prérequis
Aucun
Lieu de réalisation de l'action
Modalités d'enseignement
Formation entièrement en présentielle
Adresse
33 Rue de la République69002 Lyon 2e
Responsable : ASI
Périodes prévisibles de déroulement des sessions
Début
Fin
- Adresse d'inscription
-
41 rue de la Découverte
31676 Labège - État du recrutement
- Ouvert
- Modalités
- Entrées / Sorties à dates fixes