Python pour le Big Data

Objectifs

Objectif : Utiliser le langage Python pour manipuler et visualiser de grands ensembles de données (big data) en exploitant ses nombreuses librairies scientifiques
Compétences visées :
- Connaître les problématiques du Big Data
- Connaître les différentes librairies Python permettant de manipuler le Big Data
- Savoir manipuler de grands volumes de données
- Avoir des notions sur l'architecture Big Data

Programme de la formation

- Concepts du Big Data
Cette introduction permet de vous initier à la problématique du Big Data
Volume, Vitesse, Véracité
Map Reduce
Architecture Big Data et Data Lake
Big Data et Cloud computing
Les outils du Big Data
- Introduction à la librairie Dask
Dask est une librairie qui permet de faire du calcul distribué sur plusieurs coeurs ou plusieurs machines avec la possibilité d'utiliser un scheduler. Dask peut donc accélérer le calcul sur de larges volumes de données.
Présentation de Dask
Exemple de calculs distribués
Dask et Numpy: comparaison de performances
Dask et Pandas
- Introduction à la librairie Xarray
Xarray est une librairie Python qui s'appuie sur Numpy et permet de manipuler de larges volumes de données. Cette librairie est particulièrement efficace pour des fichiers netCDF et peut s'utiliser de concert avec Dask
Présentation de Xarray
Exemples d'utilisation de Xarray
Mise en pratique avec un fichier netCDF
- Introduction à la librairie Vaex
Vaex est une librairie qui ressemble beaucoup à pandas mais qui fait des calculs à la volée sans gaspiller l'usage de la RAM. On peut dès lors traiter des données qui ont près de 1 milliard de lignes à la seconde.
Présentation de Vaex
Prise en main de Vaex avec des exemples
Comparaison entre Vaex et Pandas
Visualisation des données avec Vaex
- Introduction à Spark
Spark est un outil permettant le passage à l'échelle pour la gestion des données et le calcul distribué. Bien que géré par Apache, Spark est en Open Source et peut s'utiliser avec plusieurs langages dont Python
Présentation de Spark
Architecture Apache Spark
Autres outils associés à Spark (Yarn, Mesos)
Resilient Distributed Dataset (RDD)
Présentation et Installation de PySpark
- Introduction à PySpark
Vous verrez grâce une mise en pratique sur une journée la prise en main de PySpark, comment lire et gérer des données, comment appliquer des fonctions sur les données et comment appliquer une réduction de dimension
- Visualisation des données massives avec Holoviews
Manipuler des gros volumes de données n'est pas toujours suffisants, on veut pouvoir aussi les visualiser. La librairie Holoviews permet aussi bien de transformer des données massives que de les visualiser.
Présentation et prise en main d'Holoviews
Interactivité avec Holoviews

Validation et sanction

Attestation d'acquis ou de compétences;Attestation de suivi de présence

Type de formation

Non certifiante

Sortie

Sans niveau spécifique