Aller au contenu principal

Python – Calcul parallèle

Date de mise à jour :
Identifiant Offre Info : 15_637675
Organisme responsable : Data Value (ouvre dans un nouvel onglet)

Nouvelle recherche

Présentation de la formation

Objectifs

Développer des compétences avancées pour exploiter efficacement les architectures de calcul parallèle en Python, en maîtrisant les techniques de multithreading, multiprocessing, calcul distribué et traitement GPU afin d'optimiser les performances des applications et workflows de traitement de données.

Programme de la formation

- Etat de l'art de la discipline et concepts de baseHistorique des supercalculateurs Comprendre les différentes architectures disponibles pour le calcul parallèle (CPU, GPU, TPU, ASIC, FPGA, NUMA... ) Tout n'est pas parallélisable : comprendre les limites de la programmation parallèle Présentation du paysage de calcul parallèle avec Python Travaux pratiques Identifier les capacités matérielles de votre ordinateur. Mesurer les performances/limites de votre configuration (disques,…

- Etat de l'art de la discipline et concepts de base
  • Historique des supercalculateurs
  • Comprendre les différentes architectures disponibles pour le calcul parallèle (CPU, GPU, TPU, ASIC, FPGA, NUMA... )
  • Tout n'est pas parallélisable : comprendre les limites de la programmation parallèle
  • Présentation du paysage de calcul parallèle avec Python
Travaux pratiques
Identifier les capacités matérielles de votre ordinateur. Mesurer les performances/limites de votre configuration (disques, mémoire, processeurs, ...).
Configurer son environnement de calcul parallèle.
Administrer une ferme de serveurs avec ansible

- Les concepts de la programmation parallèle
  • Comprendre la terminologie: programmation asynchrone, concurrente, distribuée, multithreading, multiprocessing, ...
  • Multithreading : paralléliser le code de votre programme - mise en oeuvre des concepts de base
  • Comprendre les limites du multithreading en Python
  • Multiprocessing : paralléliser votre programme sur plusieurs processeurs et mécanismes de synchronisation (verrous, sémaphores, barrières, pools de process...)
Travaux pratiques
Application des concepts de base aux travers d'exercices pratiques.
Mesurer les différences de performances entre les librairies multithreading et multiprocessing.
Premier cluster de calcul distribué avec les Managers et Proxy.

- Le calcul sur GPU
Un GPU ne se programme pas comme un CPU.
  • Comprendre les architectures GPU : kernels, mémoire, threads, ...
  • Travailler avec des cartes graphiques externes (eGPU)
  • Mise en œuvre des principales librairies Python pour GPU: Cupy, PyCUDA, Numba et RapidsAI
Travaux pratiques
Identifier quand un GPU devient plus intéressant qu'un CPU.
Traitement d'images, calcul matriciel, tester la fiabilité d'un mot de passe, ...

- Calcul distribué
  • Les principales librairies : Celery, Dask et PySpark
  • Déployer et superviser un cluster de calcul parallèle avec chacune des librairies
  • Exécuter des calculs sur un cluster
Travaux pratiques
Batch de tâches avec Celery.
Calcul numérique et analyse de données avec Dask (array et dataframe)
Analyse de données avec les DataFrames Spark et la librairie Koalas.

- Créer un pipeline de traitement de données
  • Présentation des librairies Luigi et Airflow
  • Concevoir et superviser son workflow
Travaux pratiques
Réaliser un workflow sur un ensemble de fichiers volumineux et le superviser avec Airflow.
&

Validation et sanction

Attestation de formation

Type de formation

Non certifiante

Niveau de sortie

Sans niveau spécifique

Durée, rythme, financement

Durée

En centre

35 h

Financement

Conventionnement
Oui
Financeur
  • Autre

    Programme : Autre financement (AIF, entreprise , individuel…)

Conditions d'accès

Public visé

  • Tout public

Niveau d'entrée

Sans niveau spécifique

Conditions spécifiques et prérequis

Pour suivre ce stage dans de bonnes conditions, il est recommandé d'avoir suivi en amont la formation<a href="https://www.datavalue.fr/formation-python-bases-introduction-librairies-scientifiques" target="_blank" rel="">Python – Bases et introduction aux librairies scientifiquesou d'avoir atteint par la pratique un niveau équivalent\n\nProcédure d'admission: \nUn formulaire d'auto-évaluation proposé en amont de la formation nous permettra d'évaluer votre niveau et de recueillir vos attentes. Ce même formulaire soumis en aval de la formation fournira une appréciation de votre progression.

Lieu de réalisation de l'action

Modalités d'enseignement

Formation entièrement en présentielle

Adresse

41 rue de la Découverte
CS 37623
31676 Labège

Responsable : Data Value

Périodes prévisibles de déroulement des sessions

Début

Fin

Adresse d'inscription
41 rue de la Découverte
31676 Labège
État du recrutement
Ouvert
Modalités
Entrées / Sorties à dates fixes