IA Générative - Les modèles de langages massifs (LLMs)
Date de mise à jour :
Identifiant Offre Info : 01_GE402147
Organisme responsable :
AMS TRAINING
(ouvre dans un nouvel onglet)
Présentation de la formation
Objectifs
Comprendre l'utilité des LLM.
Maîtriser l'usage des LLM et de l'IA générative.
Développer de nouveaux projets avec l'aide des LLM.
Programme de la formation
Introduction Cas d'usage - Agents conversationnels et assistants virtuels. - Génération de code et debuggage. - Analyse de sentiments / opinions. - Classification de texte et clusterisation. - Synthèse de texte ou corpus. - Traduction. Fondations - Le traitement du langage naturel (TAL). - L'architecture disruptive des Transformers. - La tokenisation des textes. - L'encodeur d'un Transformer. - La couche d'embedding. - L'encodage et le Vecteur de positionnement. -…
Introduction
Cas d'usage
- Agents conversationnels et assistants virtuels.
- Génération de code et debuggage.
- Analyse de sentiments / opinions.
- Classification de texte et clusterisation.
- Synthèse de texte ou corpus.
- Traduction.
Fondations
- Le traitement du langage naturel (TAL).
- L'architecture disruptive des Transformers.
- La tokenisation des textes.
- L'encodeur d'un Transformer.
- La couche d'embedding.
- L'encodage et le Vecteur de positionnement.
- Le mécanisme d'attention multi-têtes.
- Addition et Normalisation des sorties.
- Le Décodeur d'un Tranformer.
- La couche d'auto-attention masquée.
- La couche d'attention du décodeur.
En pratique
- Choisir un LLM.
- Critères de choix.
- Modèles à encodeur simple.
- Focus modèles BERTs.
- Modèles à décodeur simple.
- Focus modèles GPTs.
- Un foisonnement de modèles dérivés.
- Approches de réduction.
- Écosystèmes clés.
- APIs de modèles Fermés.
- HuggingFace et les modèles ouverts.
- Écosystèmes applicatifs type LangChain.
Mise en œuvre
- Choix service / in house / hybrid.
- In house workflow.
- Service workflow.
- L'entraînement d'un modèle massif.
- L'étape d'évaluation des modèles.
- Le réglage des hyperparamètres.
- Déploiement d'un modèle.
- Model fine-tuning.
- Prompt engineering.
Le Prompt Engineering
- Configuration des paramètres des LLMs.
- Qu'est ce qu'un token ?
- Notion de distribution des probabilités des LLMs.
- Les échantillonnages Top-K et top-p.
- La température du modèle.
- Le réglage des paramètres en pratique.
- Les composantes d'un prompt.
- Règles générales.
- L'approche Few-Shot Learning.
- Zero, one to Few-shot learning.
- L'approche Chain of thoughts.
- L'incitation par chaînes de pensées.
- Des approches plus avancées.
- ReAct Prompting.
LLMs augmentés
- L'enrichissement des LLMs.
- Ajout de capacité mémorielle.
Déploiement de LLMs
Validation et sanction
Type de formation
Non certifiante
Niveau de sortie
Sans niveau spécifique
Durée, rythme, financement
Durée
En centre
14 h
Financement
- Conventionnement
- Oui
Conditions d'accès
Publics visés
- Bénéficiaire allocation retour à l'emploi
- Bénéficiaire allocation solidarité spécifique
- Bénéficiaire du revenu de solidarité active
- Demandeur d'emploi
- Militaire en reconversion
- Particulier, individuel
- Public en emploi
- Public sans emploi
- Salarié
- Salarié dans le cadre du CIF
- Salarié dans le cadre du DIF
- Salarié dans le cadre du plan de formation
- Salarié en contrat aidé
- Salarié en période de professionnalisation
- Salarié en reconversion
Niveau d'entrée
Sans niveau spécifique
Conditions spécifiques et prérequis
Une connaissance de base des principes de Machine Learning et de Deep Learning. La maîtrise d'une langage de script type Python est recommandé.
Lieu de réalisation de l'action
Modalités d'enseignement
Formation mixte
Adresse
22 Rue de Medreville54000 Nancy
Périodes prévisibles de déroulement des sessions
Début
Fin
- Adresse d'inscription
-
22 Rue de Medreville
54000 Nancy - État du recrutement
- Ouvert
- Modalités
- Entrées / Sorties à dates permanentes