Data Engineering

Objectifs

La formation a pour but de former au métier de Data Engineering. Apprenez à déployer une solution d'intelligence artificielle :
- Définir une expérience utilisateur (UX) grâce à une interface (UI) simple et facile d'accès, en animant des ateliers de conception, un prototypage et des tests de l'interface, afin d'obtenir le meilleur résultat sur les plans fonctionnels et graphiques.
- Contrôler le respect de la réglementation en matière de protection des données personnelles (RGPD) en établissant une politique de collecte des données conforme à la réglementation et aux valeurs de l'entreprise, en exerçant une veille sur les ouvertures ou contraintes réglementaires en fonction du secteur d'application retenu, afin de présenter les enjeux éthiques de l'intelligence artificielle.
- Prévenir les risques en matière de cybersécurité et d'intrusion dans l'architecture technique retenue, ou d'exploitation abusive des données collectées, en protégeant les données personnelles collectées dans le cadre de la mise en oeuvre de la solution d'intelligence artificielle, afin de garantir l'intégrité et l'authenticité des données collectées ou restituées, en utilisant les techniques appropriées.
Mesurer l'impact de l'intelligence artificielle sur l'environnement, la société et l'individu et définir des solutions de remédiation et/ou de collaboration afin d'adopter une démarche soucieuse des questions éthiques.
- Présenter des enjeux technologiques de la solution développée auprès de publics non spécialistes de l'IA en faisant des propositions d'applications étendues à des univers connexes afin de valoriser et promouvoir la solution d'intelligence artificielle développée auprès des parties prenantes de l'organisation (salariés, actionnaires, clients, partenaires, etc.).

Programme de la formation

- Construction des bases de données Data engineering (Machine virtuelle avec Visual Studio Code, Construction de votre 1er Data Lake, Transformation de données avec Python, Application des techniques CI/CD, Déploiement d'une appli FastAPI, Software Engineer best practices)
- Data Warehouse (Modern Data Stack, SQL, PostgreSQL et Big Query, Docker Compose pour les applications Docker multi-conteneurs, Database Management)
- Préparer les données pour la Data Visualisation (Processus ETL, ELT, ETLLT avec Airflow et DBT, Outils de visualisation de données, Utiliser Docker et Kubernetes)
- Data Workloads (Gestion des charges de données, Gestion des transferts de données importants, Batch processing et stream processing at scale, Logging et monitoring)

Validation et sanction

Attestation de formation

Type de formation

Non certifiante

Sortie

Sans niveau spécifique