Data Engineer

• Expert en infrastructures de données massives - Code CertifInfo 114987
  • Niveau de qualification : 7 - Savoirs hautement spécialisés

Objectifs

01 - Piloter la conduite d'un projet data au sein d'une organisation
02 - Réaliser la collecte, le stockage et la mise à disposition des données d'un
projet data au sein d'une organisation
03 - Élaborer et maintenir un entrepôt de données (data warehouse)
04 - Encadrer la collecte massive et la mise à disposition des données issues de
l'activité de l'organisation grâce à un data lake

Programme de la formation

Positionnement et définition des objectifs - Découvrir les objectifs pédagogiques du parcours
Définir son projet pro et ses engagements nécessaires pour l'atteindre, réutilisé à chaque entretien individuel
Bilan initial du niveau des apprenants par une première mise en situation évaluée - 14

hLa prise de poste - Mettre en place son environnement de formation et de travail : les outils et le poste de travail du data engineer.
Lancement des routines pédagogiques de veille et d'analyse réflexive.
Signature de la charte d'engagement et du règlement général. - 14

hIntroduction aux méthodes agiles - Découvrir les principes fondamentaux d'une organisation agile.
Évaluer la pertinence d'une approche agile dans la gestion de la production de l'application.
Sélectionner la méthode agile adaptée.
Animer les rituels agiles. - 7

hModule de sensibilisation aux IA génératives - Expérimenter les outils d'IA générative.
Prendre conscience des gains de productivité mais aussi des limites de leur utilisation.
Se projeter sur des utilisations possibles dans le cadre de la formation ou du métier visé. - 4

hMon premier flux de données - Identifier les contraintes techniques et la modélisation de la structure des données
Nettoyer, harmoniser, mettre à jour des règles de filtrages depuis un fichier csv
Les différents types de source : fichier, SGBD, HTML, API ; SQL, NOSQL - 35

hJe corrige un bug dans un script de collecte et d'agrégation de données - Reproduire les configurations de l'environnement d'exécution des scripts en environnement de dev/test.
Mettre à jour des extractions de données de type SQL
Outils de connexion programmatique aux sources de données : Python, R, Talend, DBT - 21

hRGPD - Appliquer les obligations réglementaires liées au RGPD dans le cadre du pilotage de la cybersécurité.
Lister les bonnes pratiques de validation de la protection des données aux différentes étapes d'un projet. - 4

hJe mets à jour la procédure d'ETL vers un Datamart - Mettre à jour des extractions et filtrages sous forme de requête HTTP et scrapping, et des règles d'agrégation en un jeu de données unique.
Outils de nettoyage et mise en forme des données : SQL, pandas
Coder avec l'IA: assistant Google Collab - 21

hNumérique responsable et IA frugale - Connaître les causes de l'impact environnemen

Validation et sanction

-

Type de formation

Certifiante

Sortie

Bac + 5 et plus