Aller au contenu principal

Data_Engineer - Expert en infrastructures de données massives - ALT

Date de mise à jour :
Identifiant Offre Info : 15_722255
Organisme responsable : Simplon.co (ouvre dans un nouvel onglet)

Nouvelle recherche

Référentiels

Code Rome

  • M1801 Administration de systèmes d'information
  • M1802 Expertise et support en systèmes d'information
  • M1803 Direction des systèmes d'information
  • M1805 Études et développement informatique
  • M1806 Conseil et maîtrise d'ouvrage en systèmes d'information

Formacode

  • 24218 : Transmission numérique
  • 31036 : Administration base de données
  • 31052 : Data Warehouse
  • 71654 : Logiciel système gestion bases données

Présentation de la formation

Objectifs

Analyser l?expression d?un besoin de projet data dans une étude de faisabilité en explorant, à l?aune des enjeux stratégiques de l?organisation, le besoin métier avec les parties prenantes pour valider les orientations et sélectionner les hypothèses techniques du projet avec le ou les commanditaire(s). Cartographier les données disponibles en référençant les usages, les sources, les métadonnées et les données afin de valider les hypothèses techniques du projet data. Concevoir un cadre technique…

  • Analyser l?expression d?un besoin de projet data dans une étude de faisabilité en explorant, à l?aune des enjeux stratégiques de l?organisation, le besoin métier avec les parties prenantes pour valider les orientations et sélectionner les hypothèses techniques du projet avec le ou les commanditaire(s).
  • Cartographier les données disponibles en référençant les usages, les sources, les métadonnées et les données afin de valider les hypothèses techniques du projet data.
  • Concevoir un cadre technique d?exploitation des données en analysant les contraintes techniques, de moyens et la cartographie des données afin de définir une réponse technique adaptée aux ressources mobilisables dans le respect du RGPD et d?une démarche éco-responsable.
  • Réaliser une veille technique et réglementaire en sélectionnant des sources et en collectant et traitant les informations collectées afin de formuler des recommandations projet toujours en phase avec l?état de l?art.
  • Planifier la réalisation d?un projet data en attribuant les moyens nécessaires et en définissant les étapes de réalisation et les méthodes de suivi du projet afin de d?organiser sa mise en oeuvre
  • Superviser la réalisation d?un projet data en organisant les méthodes, les outils de travail et la communication entre les parties prenantes, afin d?accompagner les membres de l?équipe dans la réussite du projet
  • Communiquer tout au long de la réalisation du projet data sur les orientations, les réalisations et leurs impacts en élaborant la stratégie et les supports de communication afin d?informer toutes les parties prenantes des évolutions ou des opportunités internes comme externes, portés par le projet.
  • Automatiser l?extraction de données depuis un service web, une page web (scraping), un fichier de données, une base de données et un système big data en programmant le script adapté afin de pérenniser la collecte des données nécessaires au projet.
  • Développer des requêtes de type SQL d?extraction des données depuis un système de gestion de base de données et un système big data en appliquant le langage de requête propre au système afin de préparer la collecte des données nécessaires au projet.
  • Développer des règles d'agrégation de données issues de différentes sources en programmant, sous forme de script, la suppression des entrées corrompues et en programmant l?homogénéisation des formats des données afin de préparer le stockage du jeu de données final.
  • Créer une base de données dans le respect du RGPD en élaborant les modèles conceptuels et physiques des données à partir des données préparées et en programmant leur import afin de stocker le jeu de données du projet.
  • Partager le jeu de données en configurant des interfaces logicielles et en créant des interfaces programmables

Programme de la formation

Introduction à la formation Découvrir le métier de Data Engineer. Essayer la pédagogie active de Simplon. Apprendre les bases du développement et de l'algorithme. Rencontrer les autres personnes de la promotion. Comprendre les compétences à acquérir et les critères pour obtenir la certification finale Pendant la formation : Apprendre des langages de programmation comme Python, Java, ou Scala. Utiliser des outils Big Data comme Hadoop, Spark, et SQL. Apprendre sur l'architecture…

Introduction à la formation
Découvrir le métier de Data Engineer.
Essayer la pédagogie active de Simplon.
Apprendre les bases du développement et de l'algorithme.
Rencontrer les autres personnes de la promotion.
Comprendre les compétences à acquérir et les critères pour obtenir la certification finale

Pendant la formation :
Apprendre des langages de programmation comme Python, Java, ou Scala.
Utiliser des outils Big Data comme Hadoop, Spark, et SQL.
Apprendre sur l'architecture distribuée et le cloud computing.

Phase 1 - Travailler sur des bases de données
Créer et gérer des bases de données pour répondre à des besoins simples.
Participer à la gestion d'un projet data.
Contribuer à la conception et création de bases de données.
Automatiser l'entrée de données dans les bases de données.
Phase 2 - Évolution d'un data warehouse
Travailler sur l'entrepôt de données de l'entreprise.
Automatiser et standardiser les traitements de données. 
Connaître les structures de données en faits et dimensions du data warehouse.
Tester l'entrepôt de données en environnement de développement/test.
Intégrer de nouvelles sources de données en ajustant les scripts.
Phase 3 - Évolution d'un data lake
Travailler sur le datalake, qui stocke les données brutes. 
Adapter les procédures de collecte automatique de données.
Travailler sur les outils de catalogage de données.
Configurer les droits d'accès.
Phase 4 - Bases de données pour les équipes d'analyse
Créer une base de données pour répondre à un besoin métier. 
Identifier les données sources pertinentes.
Concevoir une base de données cible.
Automatiser l'import des données depuis différentes sources.
Développer des points de terminaison d'API et des règles d'autorisation.
Phase 5 - Création d'un data warehouse
Créer un entrepôt de données pour différents usages data. 
Cartographier les données collectées par l'entreprise.
Structurer l'entrepôt de données selon les cas d'usage.
Choisir les outils de stockage et d'import.
Maintenir les composants techniques en état de fonctionnement.
Phase 6 - Création d'un datalake
Mettre en place l'architecture et la structure d'un datalake. 
Concevoir l'architecture du datalake.
Intégrer les composants d'infrastructure.
Mettre en place un catalogue de données.
Implémenter des règles de gouvernance des données.
Phase 7 - Missions d'étude, conseil, et intégration
Piloter un projet data. 
Analy

Validation et sanction

Titre Expert en infrastructures de données massives

Type de formation

Certifiante

Niveau de sortie

Bac + 5 et plus

Durée, rythme, financement

Durée

En centre

672 h

En entreprise

2002 h

Financement

Conventionnement
Oui
Financeur
  • OPCO

    Programme : Contrat d'apprentissage, Contrat de professionnalisation

Conditions d'accès

Publics visés

  • Demandeur d'emploi
  • Jeune (dans le cadre du plan jeune)
  • Jeune 16-25 ans
  • Public de la formation initiale
  • Tout public

Niveau d'entrée

BAC + 2

Conditions spécifiques et prérequis

Afin d'intégrer le dispositif de formation ou pour suivre une formation, le candidat doit :soit être titulaire d'un titre ou d'un diplôme de niveau 5 en informatique avec une expérience professionnelle d'un an minimum dans le secteur des systèmes et réseaux informatiques.soit être titulaire d'un titre ou d'un diplôme de niveau 6 en informatique.Dans le cas où un candidat ne disposerait pas des prérequis définis, il a la possibilité de déposer un dossier de candidature qui sera examiné par une commission en vue d'une admission « exceptionnelle »._Les candidats au parcours devront justifier, par le diplôme ou l'expérience professionnelle, des compétences suivantes :Compétences en gestion de projet :Animer des rendez-vous avec le(s) client(s) afin d'identifier les besoins.Rédiger une réponse technique.Suivre le planning et le respect des contraintes.Assurer le lien entre le client et les équipes pendant toute la durée de conception du projet.Compétences techniques :Installer et gérer des servicessuivi d'une documentation techniqueapplication d'une procéduretest, déploiement, documentation, monitorageProgrammer des scripts d'automatisation dans un langage ou un environnement quelconque (win, unix…)programmation procédurale (sans architecture logiciel)Concevoir et créer des bases de donnéesmodélisation : MERISE, entités-relations, approche orientée requêtes…installation et paramétrage d'un SGBD à partir d'une modélisationMaîtriser SQL (ou équivalent) à un niveau fondamentalCRUD (Create, Read, Update, Delete)Création de table, imports / exports, méta-data…Manipuler des données dans un but de qualification de jeux de donnéesqualification d'un jeu de données (exploitabilité, volume…)conception du formatage des données nécessaire pour répondre à une problématique métier\n\nProcédure d'admission: \n1- Réaliser des exercices en ligne : réaliser un apprentissage et un mini-projet en autonomie. 2- Compléter un formulaire de candidature en ligne via le site 3- Participer à des entretiens de sélection

Modalités d'accès

  • Accessible en contrat d'apprentissage
  • Accessible en contrat de professionnalisation

Lieu de réalisation de l'action

Modalités d'enseignement

Formation entièrement en présentielle

Adresse

2 rue Raymond Lizop
31100 Toulouse

Responsable : Simplon.co

Périodes prévisibles de déroulement des sessions

Début

Fin

Adresse d'inscription
55 rue de Vincennes
93100 Montreuil
État du recrutement
Ouvert
Modalités
Entrées / Sorties à dates fixes