Deep learning - théorie et pratiques

Objectifs

A l'issue de cette formation, le participant sera en capacité de :

- FORMALISER un problème d'apprentissage automatique en vision par ordinateur et traitement du langage naturel.

- IDENTIFIER les architectures de réseau les plus appropriées pour répondre à ce problème.

- CODER et DEPLOYER la solution identifiée.

Programme de la formation

• Introduction aux réseaux de neurones (1 jour)
  
  - Avoir un recul historique sur le développement des approches de deep learning.
  
  - Introduction aux modèles linéaires et aux fonctions de perte, convexité (régression linéaire, régression logistique binaire et multiclasse).
  
  - Apprentissage d'un espace de projection : réseaux RBF, réseaux multicouches non-linéaires.
  
  - Optimisation d'un réseau de neurones par descente de gradient, calcul du gradient par propagation arrière dans un graphe de calcul.
  
  - Optimisation des réseaux de neurones (algorithmes d'optimisation du premier ordre à taux d'apprentissage constant ou adaptatif, initialisation).
  
  - Améliorer la généralisation d'un réseau de neurone en utilisant des techniques de régularisation (L1/L2, early stopping, dropout).
  
  - Être familiarisé avec l'écosystème de développement (frameworks, GPU).
  
  L'après midi sera dédiée à la réalisation d'un TP d'introduction à pytorch montrant comment structurer proprement son projet et le coder avec les différentes briques


• Réseaux convolutifs et applications (1 jour)
  
  - Introduction à la structure des réseaux convolutifs (CNNs): un réseau feedforward fortement régularisé.
  
  - Pré-apprentissage/Transfert et augmentation de données.
  
  - Techniques d'interprétation des CNNs.
  
  - Architectures pour la détection d'objets.
  
  - Architectures pour la segmentation sémantique.
  
  L'après midi sera dédiée à la réalisation d'un TP de segmentation sémantique avec un modèle de type U-Net sur les données Stanford-2D-3D-S.


• Deep learning pour le traitement automatique du langage naturel (1 jour)
  
  - Se familiariser avec les spécificités des données textuelles.
  
  - Connaître les modèles adaptés aux différentes tâches/données.
  
  - Connaître les outils permettant des visualiser et préparer des données (jupyter notebook, pandas, mathplotlib).
  
  - Représentation de données textuelles sous forme vectorielle.
  
  - Introduction aux réseaux de neurones récurrents.
  
  L'après-midi sera dédiée à la réalisation d'un TP


• Mécanismes d'attention et Transformeurs (1 jour)
  
  - Introduction aux mécanismes d'attention ainsi qu'aux modèles Transformeurs.
  
  - Connaître les outils facilitant la réalisation et le monitoring d'expériences (tensorflow/tensorboard).
  
  - Connaître les outils et modèles disponibles ainsi que les différents acteurs (Huggingface, Facebook AI Research, Google DeepMind, OpenAI, …).
  
   


• Cas d'usage (1 jour) 


• Modèles génératif pour l'image: 


• Modèles de génération de texte:

Validation et sanction

Attestation de formation

Type de formation

Non certifiante

Sortie

Sans niveau spécifique