Consultant Data Engineer Cloud & Big Data

Objectifs

Ce cursus permet aux apprenants de devenir autonomes sur la mise en œuvre d'architectures de données modernes. Ils apprennent à maîtriser l'ingestion, la transformation, la visualisation et l'industrialisation des données sur des environnements Cloud (notamment Google Cloud Platform).

À l'issue de cette formation, les participants auront acquis des savoirs, des savoir-faire et des savoir-être, et devront être capables de :

• Comprendre les enjeux du Big Data et de la Data Engineering.


• Construire des pipelines robustes avec Hadoop et PySpark.


• Interroger, transformer et charger des données avec SQL et BigQuery.


• Déployer et gérer des traitements sur GCP avec des outils comme Dataflow ou GKE.


• Visualiser efficacement les données avec Power BI, Qlik Sense et Looker.


• Automatiser l'infrastructure avec Terraform et orchestrer avec Kubernetes.


• Travailler en méthode agile, collaborer avec les Data Analysts, Data Scientists, DevOps et métiers.

Programme de la formation

• Programmation Python et algorithmique


• Programmation objet, scripting Bash


• SQL (de base à avancer), BigQuery


• Hadoop, Spark, PySpark


• GCP : Cloud Storage, GKE, Dataflow, IAM, Looker


• CI/CD : Git, GitLab, TDD avec PyTest


• Conteneurisation : Docker, Kubernetes


• IaC : Terraform, Ansible


• Visualisation : Power BI, Qlik, Looker


• Monitoring : Prometheus, Grafana, ELK

Validation et sanction

Attestation de formation

Type de formation

Non certifiante

Sortie

Sans niveau spécifique