Data engineer

 Le Data Engineer est le maître d'œuvre de la conception et du développement des infrastructures et outils dédiés au traitement des volumes massifs de données, facilitant notamment le déploiement des solutions d'Intelligence Artificielle. Sa mission centrale est d'orchestrer la collecte des données et d'assurer leur disponibilité au sein de l'organisation, constituant ainsi un maillon essentiel dans la chaîne de valeur des données.

Élaborer et exercer un système de veille technologique et réglementaire dédié au domaine du numérique en vue d’identifier les cas d’usages et les évolutions technologiques et réglementaires à intégrer dans son activité professionnelle

•  Identifier les besoins en architecture de gestion de données afin de valider l’opportunité de développement d’un projet d’architecture
• Exploiter la veille au sein de son organisation dans le but d’informer, de sensibiliser et de faire adhérer ses collaborateurs et sa hiérarchie aux bonnes pratiques et au respect des normes réglementaires
• Définir le périmètre du projet de gestion données afin d’assurer son inclusivité, limiter son impact écologique et préparer sa mise en œuvre
• Émettre des recommandations auprès de sa hiérarchie et de membres d’une équipe pluridisciplinaire afin qu’ils puissent ainsi contribuer au projet
• Collecter les données structurées et non structurées afin de préparer les étapes de transformation et de stockage des données
• Élaborer des solutions de stockage afin de consolider le processus de stockage des données de la solution
• Concevoir les procédures d’extraction, de traitement et de stockage des données
• Transformer les données en un format approprié pour l’analyse afin de rendre les données disponibles et exploitables dans leur forme et leur contenu
• Analyser les données afin d'évaluer l’intégrité et la qualité des données et de présenter les résultats issus de l’analyse aux parties prenantes du projet et aux utilisateurs finaux de la solution
• Automatiser les circuits de collecte, de traitement et de stockage des données en vue d’assurer l’opérationnalité de la solution technique
• Développer un algorithme d’intelligence artificielle en vue d’intégrer des composants d’intelligence artificielle à la solution technique de gestion de données
• Concevoir une interface de programmation entre les composants de la solution afin de préparer le déploiement de la solution d'analyse de données intégrant l'intelligence artificielle
• Conteneuriser les composants de l'architecture en protégeant les conteneurs contre les vulnérabilités et les accès non autorisés
• Déployer le modèle dans un environnement de production et le rendre opérationnel dans le respect des spécifications fonctionnelles et des bonnes pratiques du domaine
• Orchestrer les services de la solution afin de garantir l’exécution fluide et efficace de l’ensemble de l’architecture et de créer une solution évolutive, capable de résoudre des problèmes complexes et de fournir des résultats fiables
• Contrôler la mise en production de la solution afin d’assurer l’opérationnalité de la solution et vérifier sa conformité quant aux spécifications établies lors de la constitution du cahier des charges
• Automatiser le déploiement de nouvelles versions de la solution et son monitoring à l'aide d’un outil de continuous Integration (CI/CD) permettant de surveiller efficacement l'ensemble du processus, de prévenir toute dégradation des performances et d’assurer la durabilité de la solution
• Définir la structure organisationnelle du projet afin que le projet bénéficie d’un mode de gouvernance rationalisé et d’un outil de pilotage répondant aux exigences du cahier des charges
• Encadrer le développement du projet d’architecture de données afin de manager les acteurs du projet, d’assurer son inclusivité et de monitorer les avancées
• Gérer le budget du projet afin d’identifier les écarts avec le budget prévisionnel et, le cas échéant, de prendre des mesures correctives permettant de respecter les contraintes financières du projet
• Communiquer l’avancement et les résultats du projet afin de diffuser l’information permettant la prise de décision et l’implication de l’ensemble des équipes
• Evaluer la performance du projet afin d’identifier des axes d’amélioration basés sur l’analyse des KPI, des retours d’expériences utilisateurs et de garantir ainsi une optimisation continue du projet
• Former les utilisateurs finaux de la solution dans le but d'assurer la transition et optimiser l’adoption et l’utilisation de la solution par tous les utilisateurs concernés

 Secteurs d’activités :

Un Data Engineer peut travailler dans une variété de secteurs d'activités en raison de l'importance croissante des données. Les compétences des Data Engineer sont ainsi applicables dans pratiquement tous les secteurs d'activité à mesure que les organisations cherchent à tirer de la valeur de leurs données. Les secteurs dans lesquels les Data Engineer sont particulièrement demandés : technologie et informatique, finance et assurance, santé, commerce, industrie, énergies, transport et logistique, médias.

Type d'emplois accessibles :

• Data Engineer 
• Ingénieur data / big data 
• Développeur data
• Machine learning engineer
• Ingénieur en développement big data

• DATASCIENTEST

• DATASCIENTEST

  1ère habilitation	Début validité	Fin validité
  26/04/2024		26/04/2026

• 31023 : Gestion données massives
• 31052 : Data Warehouse
• 31094 : Gestion projet informatique

• M1802 - Expertise et support en systèmes d'information
• M1803 - Direction des systèmes d'information
• M1805 - Études et développement informatique
• M1806 - Conseil et maîtrise d'ouvrage en systèmes d'information

• 326 - Informatique, traitement de l'information, réseaux de transmission des données