Data Engineer

• Expert en infrastructures de données massives - Code CertifInfo 114987
  • Niveau de qualification : 7 - Savoirs hautement spécialisés

Objectifs

• Analyser l'expression d'un besoin de projet data dans une étude de faisabilité en explorant, à l'aune des enjeux stratégiques de l'organisation, le besoin métier avec les parties prenantes pour valider les orientations et sélectionner les hypothèses techniques du projet avec le ou les commanditaire(s).
• Cartographier les données disponibles en référençant les usages, les sources, les métadonnées et les données afin de valider les hypothèses techniques du projet data.
• Concevoir un cadre technique d'exploitation des données en analysant les contraintes techniques, de moyens et la cartographie des données afin de définir une réponse technique adaptée aux ressources mobilisables dans le respect du RGPD et d'une démarche éco-responsable.
• Réaliser une veille technique et réglementaire en sélectionnant des sources et en collectant et traitant les informations collectées afin de formuler des recommandations projet toujours en phase avec l'état de l'art.
• Planifier la réalisation d'un projet data en attribuant les moyens nécessaires et en définissant les étapes de réalisation et les méthodes de suivi du projet afin de d'organiser sa mise en oeuvre
• Superviser la réalisation d'un projet data en organisant les méthodes, les outils de travail et la communication entre les parties prenantes, afin d'accompagner les membres de l'équipe dans la réussite du projet
• Communiquer tout au long de la réalisation du projet data sur les orientations, les réalisations et leurs impacts en élaborant la stratégie et les supports de communication afin d'informer toutes les parties prenantes des évolutions ou des opportunités internes comme externes, portés par le projet.
• Automatiser l'extraction de données depuis un service web, une page web (scraping), un fichier de données, une base de données et un système big data en programmant le script adapté afin de pérenniser la collecte des données nécessaires au projet.
• Développer des requêtes de type SQL d'extraction des données depuis un système de gestion de base de données et un système big data en appliquant le langage de requête propre au système afin de préparer la collecte des données nécessaires au projet.
• Développer des règles d'agrégation de données issues de différentes sources en programmant, sous forme de script, la suppression des entrées corrompues et en programmant l'homogénéisation des formats des données afin de préparer le stockage du jeu de données final.
• Créer une base de données dans le respect du RGPD en élaborant les modèles conceptuels et physiques des données à partir des données préparées et en programmant leur import afin de stocker le jeu de données du projet.
• Partager le jeu de données en configurant des interfaces logicielles et en créant des interfaces programmables afin de mettre à disposition le jeu de données pour le développement du projet.
• Modéliser la structure des données d'un entrepôt de donn

  Programme de la formation

  Positionnement et définition des objectifs - Découvrir les objectifs pédagogiques du parcours
  Définir son projet pro et ses engagements nécessaires pour l'atteindre, réutilisé à chaque entretien individuel
  Bilan initial du niveau des apprenants par une première mise en situation évaluée - 14
  
  hLa prise de poste - Mettre en place son environnement de formation et de travail : les outils et le poste de travail du data engineer.
  Lancement des routines pédagogiques de veille et d'analyse réflexive.
  Signature de la charte d'engagement et du règlement général. - 14
  
  hIntroduction aux méthodes agiles - Découvrir les principes fondamentaux d'une organisation agile.
  Évaluer la pertinence d'une approche agile dans la gestion de la production de l'application.
  Sélectionner la méthode agile adaptée.
  Animer les rituels agiles. - 7
  
  hModule de sensibilisation aux IA génératives - Expérimenter les outils d'IA générative.
  Prendre conscience des gains de productivité mais aussi des limites de leur utilisation.
  Se projeter sur des utilisations possibles dans le cadre de la formation ou du métier visé. - 4
  
  hMon premier flux de données - Identifier les contraintes techniques et la modélisation de la structure des données
  Nettoyer, harmoniser, mettre à jour des règles de filtrages depuis un fichier csv
  Les différents types de source : fichier, SGBD, HTML, API ; SQL, NOSQL - 35
  
  hJe corrige un bug dans un script de collecte et d'agrégation de données - Reproduire les configurations de l'environnement d'exécution des scripts en environnement de dev/test.
  Mettre à jour des extractions de données de type SQL
  Outils de connexion programmatique aux sources de données : Python, R, Talend, DBT - 21
  
  hRGPD - Appliquer les obligations réglementaires liées au RGPD dans le cadre du pilotage de la cybersécurité.
  Lister les bonnes pratiques de validation de la protection des données aux différentes étapes d'un projet. - 4
  
  hJe mets à jour la procédure d'ETL vers un Datamart - Mettre à jour des extractions et filtrages sous forme de requête HTTP et scrapping, et des règles d'agrégation en un jeu de données unique.
  Outils de nettoyage et mise en forme des données : SQL, pandas
  Coder avec l'IA: assistant Google Collab - 21
  
  hNumérique responsable et IA frugale - Connaître les causes de l'impact environnemen

  Validation et sanction

  -

  Type de formation

  Certifiante

  Sortie

  Bac + 5 et plus

Code Rome

Modalités pédagogiques

Durée

805 heures en centre, 665 heures en entreprise

Conventionnement : Oui

Financeur(s)

Collectivité territoriale - Conseil régional

Public(s)

Public sans emploi

Modalités de recrutement et d'admission

Inscription sur candidature

Niveau d'entrée : Sans niveau spécifique

Conditions spécifiques et prérequis

Afin d'intégrer le dispositif de formation ou pour suivre une formation, le candidat doit : soit être titulaire d'un titre ou d'un diplôme de niveau 5 en informatique avec une expérience professionnelle d'un an minimum dans le secteur des systèmes et réseaux informatiques. soit être titulaire d'un titre ou d'un diplôme de niveau 6 en informatique. Dans le cas où un candidat ne disposerait pas des prérequis définis, il a la possibilité de déposer un dossier de candidature qui sera examiné par une commission en vue d'une admission « exceptionnelle ». Les candidats au parcours devront justifier, par le diplôme ou l'expérience professionnelle, des compétences suivantes : Compétences en gestion de projet : Animer des rendez-vous avec le(s) client(s) afin d'identifier les besoins. Rédiger une réponse technique. Suivre le planning et le respect des contraintes. Assurer le lien entre le client et les équipes pendant toute la durée de conception du projet. Compétences techniques : Installer et gérer des services suivi d'une documentation technique application d'une procédure test, déploiement, documentation, monitorage Programmer des scripts d'automatisation dans un langage ou un environnement quelconque (win, unix...) programmation procédurale (sans architecture logiciel) Concevoir et créer des bases de données modélisation : MERISE, entités-relations, approche orientée requêtes... installation et paramétrage d'un SGBD à partir d'une modélisation Maîtriser SQL (ou équivalent) à un niveau fondamental CRUD (Create, Read, Update, Delete) Création de table, imports / exports, méta-data... Manipuler des données dans un but de qualification de jeux de données qualification d'un jeu de données (exploitabilité, volume...) conception du formatage des données nécessaire pour répondre à une problématique métier

Modalités d'accès

formation entièrement présentielle

Adresse

34 Rue Antoine Primat
69100 - Villeurbanne

Responsable : Simplon.Co
Téléphone fixe :
Contacter l'organisme

Contact sur la formation

55 Rue de Vincennes
93100 - Montreuil

Responsable : GERVAIS PAULINE
Téléphone fixe : 0645491092
fax :
Site web :
Contacter l'organisme

Contacter l'organisme formateur

Simplon.Co
SIRET: 79279132900016
93100 Montreuil
Responsable : Kim MAMDY
Téléphone fixe : 0428000810
Site web :
Contacter l'organisme

du 18/05/2026 au 09/04/2027
débutant le : 18/05/2026

Adresse d'inscription

34 Rue Antoine Primat
69100 - Villeurbanne

Etat du recrutement : Ouvert
Modalités : Entrées / Sorties à dates fixes

Simplon.Co
SIRET : 79279132900016

Adresse

55 Rue de Vincennes
93100 - Montreuil

Téléphone fixe :
Contacter l'organisme