Deep learning - théorie et pratiques

Objectifs

- Formaliser un problème d'apprentissage automatique en vision par ordinateur et traitement du langage naturel.
- Identifier les architectures de réseau les plus appropriées pour répondre à ce problème.
- Coder et déployer la solution identifiée.

Programme de la formation

Introduction aux réseaux de neurones (1 jour)
- Avoir un recul historique sur le développement des approches de deep learning.
- Introduction aux modèles linéaires et aux fonctions de perte, convexité (régression linéaire, régression logistique binaire et multiclasse).
- Apprentissage d'un espace de projection : réseaux RBF, réseaux multicouches non-linéaires.
- Optimisation d'un réseau de neurones par descente de gradient, calcul du gradient par propagation arrière dans un graphe de calcul.
- Optimisation des réseaux de neurones (algorithmes d'optimisation du premier ordre à taux d'apprentissage constant ou adaptatif, initialisation).
- Améliorer la généralisation d'un réseau de neurone en utilisant des techniques de régularisation (L1/L2, early stopping, dropout).
- Être familiarisé avec l'écosystème de développement (frameworks, GPU).
L'après midi sera dédiée à la réalisation d'un TP d'introduction à pytorch montrant comment structurer proprement son projet et le coder avec les différentes briques : chargement des données en minibatch, construction/initialisation d'un modèle, régularisation, boucle d'entrainement, monitoring de l'entrainement, sauvegarde/recharge du meilleur modèle, etc...
Réseaux convolutifs et applications (1 jour)
- Introduction à la structure des réseaux convolutifs (CNNs): un réseau feedforward fortement régularisé.
- Pré-apprentissage/Transfert et augmentation de données.
- Techniques d'interprétation des CNNs.
- Architectures pour la détection d'objets.
- Architectures pour la segmentation sémantique.
Deep learning pour le traitement automatique du langage naturel (1 jour)
- Se familiariser avec les spécificités des données textuelles.
- Connaître les modèles adaptés aux différentes tâches/données.
- Connaître les outils permettant des visualiser et préparer des données (jupyter notebook, pandas, mathplotlib).
- Représentation de données textuelles sous forme vectorielle.
- Introduction aux réseaux de neurones récurrents.
Mécanismes d'attention et Transformeurs (1 jour)
- Introduction aux mécanismes d'attention ainsi qu'aux modèles Transformeurs.
- Connaître les outils facilitant la réalisation et le monitoring d'expériences (tensorflow/tensorboard).
- Connaître les outils et modèles disponibles ainsi que les différents acteurs (Huggingface, Facebook AI Research, Google DeepMind, OpenAI, ...).
Cas d'usage (1 jour)
- Mise en pratique sur deux cas d'usages des différentes notions abordées dans la formation.
- Savoir entraîner un modèle génératif sur des images.
- Savoir construire un agent conversationnel (chat-bot) personnalisé.

Validation et sanction

Attestation de formation

Type de formation

Non certifiante

Sortie

Sans niveau spécifique