Data Engineer

Objectifs

1/ COLLECTER ET STOCKER DES DONNÉES
- Constituer un inventaire de données de l'organisation.
- Définir une stratégie de collecte et de stockage.
- Industrialiser et automatiser la collecte et le stockage.
2/ PRÉPARER ET TRAITER DES DONNÉES
- Centraliser les définitions des données de l'organisation.
- Mettre en place un processus de transformation automatisée des données.
- Superviser le processus de transformation et des risques associés.
3/ METTRE À DISPOSITION ET ACCÉDER AUX DONNÉES
- Déployer et mettre à disposition des données aux utilisateurs finaux.
- Déployer et mettre à disposition des données aux autres équipes techniques.
- Communiquer et accompagner les équipes métier.
4/ SOFT-SKILLS
- Savoir vulgariser du code et des données auprès d'une personne non technique.
- Participer et contribuer à une communauté autour des métiers de la data.
- Créer un portfolio professionnel.

Programme de la formation

1. REMISE A NIVEAU SUR LES PROJETS DATA
- Introduction à Hadoop et son écosystème.
- Introduction aux solutions cloud et au traitement et analyse de données sur AWS.
- Introduction aux solutions serverless en utilisant les lambda functions et les step functions.
2. ETAT DE L'ART DU DATA ENGINEER ET APPLICATION A DES PROJETS CONCRETS
- Comprendre les technologies de collecte, de préparation et de chargement des flux de données vers des entrepôts de données et des outils analytiques.
- Nettoyer et normaliser les données grâce à des pipelines ETL.
- Utiliser des langages tel que PySpark et Scala pour traiter des charges de travail Big Data.
- Construire et modéliser des bases de données relationnelles et non-relationnelles
- Implémenter et modéliser un entrepôt de données sur AWS Redshift.

Validation et sanction

-

Type de formation

Non certifiante

Sortie

Information non communiquée