Auto-hébergement d'un LLM en entreprise
Date de mise à jour :
Identifiant Offre Info : 15_25505371F
Organisme responsable :
LBKE
(ouvre dans un nouvel onglet)
Présentation de la formation
Objectifs
Cette formation est une introduction pratique à l'auto-hébergement de LLM en entreprise, couvrant l'ensemble de la chaîne technique : de l'exécution locale au déploiement cloud, en passant par le dimensionnement de l'infrastructure et l'évaluation des coûts. L'enjeu est de maîtriser les aspects techniques, organisationnels et économiques pour réussir votre projet d'auto-hébergement de LLM en entreprise. Identifier les différentes stratégies…
L'enjeu est de maîtriser les aspects techniques, organisationnels et économiques pour réussir votre projet d'auto-hébergement de LLM en entreprise.
- Identifier les différentes stratégies d'auto-hébergement de LLM (local, on-premise, cloud dédié)
- Dimensionner l'infrastructure matérielle (CPU, GPU, RAM, stockage) selon le modèle et la charge
- Déployer et exécuter un LLM open source sur machine locale avec LM Studio ou Ollama
- Évaluer les coûts totaux d'un projet d'auto-hébergement et les comparer aux API cloud
- Sélectionner le modèle de langage adapté aux contraintes de votre organisation
- Découvrir l'écosystème d'outils constituant une plateforme LLM : RAG, interface utilisateur, monitoring
- Élaborer une stratégie de déploiement et une roadmap technique pour votre projet
Programme de la formation
Matin 1. Introduction État de l'art des LLM open source Avantages et inconvénients de l'auto-hébergement vs solutions cloud propriétaires Enjeux de souveraineté numérique, conformité RGPD et sécurité des données 2. Exécution d'un LLM sur machine personnelle Pratique : installation et premiers pas avec LM Studio ou Ollama Téléchargement et exécution d'un modèle léger (Llama 3.2, Mistral 7B...) Comprendre les formats de quantification (GGUF, GPTQ)…
- 1. Introduction
- État de l'art des LLM open source
- Avantages et inconvénients de l'auto-hébergement vs solutions cloud propriétaires
- Enjeux de souveraineté numérique, conformité RGPD et sécurité des données
- 2. Exécution d'un LLM sur machine personnelle
- Pratique : installation et premiers pas avec LM Studio ou Ollama
- Téléchargement et exécution d'un modèle léger (Llama 3.2, Mistral 7B...)
- Comprendre les formats de quantification (GGUF, GPTQ) et leur impact sur les performances
- Limites de l'exécution locale : RAM, CPU vs GPU, latence
- 3. Déploiement on-premise en entreprise
- Architecture d'une infrastructure on-premise pour LLM
- Dimensionnement matériel : choix des GPU (NVIDIA A100, H100, RTX series...)
- Besoins en CPU, RAM et stockage selon la taille du modèle
- Solutions de conteneurisation (Docker, Kubernetes) et orchestration
- Cas d'usage : banques, santé, administrations publiques
- 4. Offres cloud dédiées pour l'auto-hébergement
- Panorama des fournisseurs : Scaleway, OVHcloud, Google Cloud Platform, AWS Bedrock, Azure ML
- Instances GPU dédiées vs partagées : avantages, coûts et performances
- Comparaison des offres françaises et européennes (souveraineté)
- Démonstration
- 5. Évaluation des coûts et choix de solution
- Méthode de calcul du TCO (Total Cost of Ownership) pour l'auto-hébergement
- Coûts d'investissement matériel vs coûts d'exploitation cloud
- Seuils de rentabilité selon le volume d'utilisation
- Exercice pratique
- Grille de décision : quelle solution pour quel contexte ?
- 6. Écosystème d'outils complémentaires
- Systèmes RAG (Retrieval-Augmented Generation) : architecture et cas d'usage
- Interfaces utilisateur : Open WebUI, Chatbot UI, solutions custom
- Monitoring et observabilité : métriques clés, outils de supervision
- Gestion des prompts, versioning de modèles et MLOps
- 7. Synthèse et élaboration de roadmap
- Retours d'expérience d'entreprises ayant déployé des LLM en interne
- Élaboration d'une roadmap technique pour votre organisation
Nous créerons un chatbot pour une application d'e-commerce capable de comprendre le besoin du client pour rechercher le meilleur produit et le lui proposer ainsi qu'un agent IA pour générer automatiquement une fiche produit complète et l'enregistrer en base de données.
Validation et sanction
Type de formation
Non certifiante
Niveau de sortie
Sans niveau spécifique
Durée, rythme, financement
Durée
En centre
7 h
Financement
- Conventionnement
- Non
- Financeurs
-
- Autre
- Entreprise
- OPCO
Conditions d'accès
Publics visés
- Demandeur d'emploi
- Public en emploi
- Salarié dans le cadre du CIF
- Salarié dans le cadre du DIF
- Salarié dans le cadre du plan de formation
- Salarié en contrat aidé
- Salarié en période de professionnalisation
- Salarié en reconversion
- Tout public
Niveau d'entrée
Bac + 3 et 4
Conditions spécifiques et prérequis
La formation est ouverte aux décideurs techniques et équipes DevOps qui souhaitent maîtriser l'auto-hébergement de LLM en entreprise. Des expérimentations seront menées en local sur votre machine personnelle. - Culture générale en infrastructure IT et cloud computing - Compréhension des concepts de base de l'IA et des modèles de langage - Connexion internet stable - Notions de ligne de commande et d'administration système (appréciées mais non obligatoires) - Apporter un ordinateur portable (Windows, macOS ou Linux) avec au minimum 16 Go de RAM, un espace disque disponible de 20 Go minimum et les droits d'installation de logiciels sur la machine - Avoir une maîtrise suffisante de l'anglais pour lire des documentations techniques. - Aucune connaissance en science de données ou en mathématiques n'est nécessaire. Un questionnaire d'auto-évaluation sera envoyé à chaque participant au début de la formation pour nous permettre d'évaluer au mieux son niveau, ses besoins et ses attentes concernant la formation.
Lieu de réalisation de l'action
Modalités d'enseignement
Formation entièrement à distance
Adresse
Périodes prévisibles de déroulement des sessions
Début
Fin
- Adresse d'inscription
-
2 Avenue d'Unterschleissheim
34920 Le Crès - État du recrutement
- Ouvert
- Modalités
- Entrées / Sorties à dates permanentes