Analytics Engineer

1. Préparation 

1.1    Maîtriser le langage Python et son utilisation avancée pour les systèmes en production.
1.2  Construire des requêtes SQL optimisées pour l'interrogation de données dans des bases.
1.3  Les bases du Cloud Computing et les concepts essentiels de virtualisation.
1.4  Utiliser Visual Studio Code en tant qu'environnement de développement intégré.

2. Data Warehousing

2.1    Créer une modélisation logique de données adaptée à des besoins métiers.
2.2  Mettre en pratique une modélisation multidimensionnelle avec des cubes de données.
2.3  Construire un Data Warehouse adapté à la réalité opérationnelle d'un projet.


3. Pipelines ELT avec dbt

3.1    Construire des pipelines ELT avec pour cible un Data Warehouse.
3.2  Utiliser dbt pour exécuter des requêtes SQL templatées avec Jinja.
3.3  Consolider dbt avec les sources et les environnements.
3.4  Développer des test unitaires pour vérifier la bonne exécution des requêtes.

4. Automatisation et intégration de données 

4.1    Automatiser des pipelines ELT avec Apache Airflow.
4.2   Prendre en compte les filtrages liées à l'automatisation dans les scripts dbt.
4.3   Intégrer des données externes (API, sources) dans un Data Warehouse avec Airbyte.

5. Data Gouvernance 


5.1     Mettre en place une stratégie de gouvernance des données adaptée.
5.2   Vérifier les prérequis en termes de Data Quality et de Data Management.
5.3   Consolider un catalogue de données avec OpenMetadata.
5.4   Tracer l'historique des transformations des données avec le Data Lineage.