1 · Quatre façons de spécialiser un modèle
« Entraîner un modèle sur nos données » recouvre en réalité quatre opérations très différentes, par ordre de coût et d'irréversibilité croissants. La bonne pratique est de commencer par la moins coûteuse et de ne monter d'un cran que lorsque la précédente a démontré ses limites sur un jeu de test.
Les pourcentages sont un ordre de grandeur issu de notre pratique, pas une statistique. Le point important est la forme : la plupart des besoins « métier » se règlent sans toucher aux poids.
| Niveau | Ce qu'on change | Ce que ça apporte | Ce que ça ne fait pas | Quand |
|---|---|---|---|---|
| Prompt et contexte | Rien dans le modèle ; on décrit la tâche, le format, on donne des exemples dans le contexte | Format, ton, règles simples, quelques exemples | N'ajoute aucune connaissance durable ; coûte des tokens à chaque appel | Toujours en premier |
| RAG | Rien dans le modèle ; on lui fournit à la volée les passages pertinents de vos documents | Connaissances à jour, citables, modifiables sans réentraîner | N'apprend pas un style, un jargon ou un raisonnement propre au métier | Dès que la réponse dépend de documents (voir la page RAG) |
| Fine-tuning | Une petite fraction des poids (LoRA) ou tous (complet), sur quelques milliers d'exemples | Style, format, vocabulaire, comportement sur une tâche précise ; parfois des connaissances stables | Ne remplace pas une base documentaire ; oublie une partie de ce qu'il savait ; à refaire à chaque nouveau modèle de base | Quand prompt et RAG plafonnent sur un jeu de test |
| Pré-entraînement | Tous les poids, depuis zéro, sur des milliards de tokens | Un modèle entièrement à soi | Hors de portée d'une organisation qui n'en fait pas son métier | Laboratoires, très grands groupes |
2 · Les données d'abord
Quel que soit le niveau retenu, le travail commence et finit par les données. Un modèle apprend exactement ce que ses exemples contiennent — leurs régularités, mais aussi leurs erreurs, leurs trous et leurs biais. Trois principes reviennent dans tous les projets qui aboutissent.
La qualité prime sur la quantité
Mille exemples relus valent mieux que cent mille exemples bruts. Pour un LLM, un exemple est une paire instruction–réponse telle que vous voudriez que le modèle réponde ; pour la vision, une image et ses annotations. Un exemple faux enseigne une erreur ; dix exemples contradictoires enseignent le hasard.
Trois jeux, étanches
Entraînement (ce que le modèle voit), validation (pour régler les hyperparamètres et arrêter à temps), test (jamais regardé avant la fin, pour mesurer honnêtement). Le test doit ressembler à la production : mêmes caméras, mêmes rédacteurs, mêmes saisons. Un test trop facile fabrique un modèle qui déçoit en service.
Le droit et la confidentialité
Vérifier que vous avez le droit d'utiliser chaque source (contrats, RGPD, secret industriel) et décider où l'entraînement a lieu. Sur des données de défense ou de clients, l'entraînement se fait sur site, avec des modèles ouverts, sans envoi vers un service tiers.
3 · Spécialiser un LLM : le fine-tuning
Un modèle de langage ouvert (Gemma, Qwen, Mistral, Llama, gpt-oss…) sort pré-entraîné et aligné : il sait converser. Le fine-tuning poursuit son entraînement, avec le même algorithme — prédire le token suivant par descente de gradient — mais sur vos exemples et pendant très peu de temps : quelques centaines à quelques milliers de paires instruction–réponse, une à trois époques. Le modèle en ressort avec le ton, le format, le vocabulaire et les réflexes du domaine.
Ce qu'il apprend bien : un format de sortie stable (un JSON à schéma fixe, un compte rendu normalisé) ; un jargon et des abréviations maison ; une manière de raisonner propre au métier (par exemple l'ordre des vérifications d'un diagnostic) ; le refus poli des questions hors périmètre. Ce qu'il apprend mal : des faits nombreux et changeants — pour cela, une base documentaire interrogée par RAG reste plus fiable, plus à jour et vérifiable, car un fait appris par fine-tuning n'est ni citable ni facilement corrigeable.
Deux méthodes existent. Le fine-tuning complet met à jour tous les poids : il demande de garder en mémoire, pour chaque paramètre, sa valeur, son gradient et les états de l'optimiseur — de l'ordre de 16 octets par paramètre, soit plus de 100 Go pour un modèle de 7 milliards, hors de portée d'une station de travail. Le fine-tuning par adaptation de rang faible (LoRA, 2021) contourne le problème et s'est imposé.
4 · LoRA, en détail
L'idée de LoRA repose sur une observation : la correction qu'un fine-tuning apporte à une matrice de poids est de rang faible — elle peut s'écrire comme le produit de deux matrices beaucoup plus petites. Au lieu de modifier la matrice W (par exemple 4 096 × 4 096, soit 16,8 millions de valeurs), on la gèle et on lui ajoute un produit B·A, où A est de taille r × 4 096 et B de taille 4 096 × r, avec r choisi petit — 8, 16, 64. Pour r = 16, cela fait 2 × 16 × 4 096 = 131 072 paramètres à apprendre au lieu de 16,8 millions : 0,8 %. Appliqué aux matrices d'attention et des MLP de toutes les couches, un LoRA sur un modèle de 7 milliards de paramètres en entraîne typiquement 10 à 50 millions.
À la fin, B·A peut être fusionné dans W (le modèle redevient un modèle ordinaire) ou conservé à part : quelques dizaines de mégaoctets qui « s'enfichent » sur le modèle de base, ce qui permet d'avoir plusieurs spécialisations pour un même modèle.
QLoRA (2023) va plus loin : le modèle de base est chargé quantifié en 4 bits (0,5 octet par paramètre) et seuls les adaptateurs sont en pleine précision. Un modèle de 7 milliards s'entraîne ainsi sur une carte de 24 Go ; un 27 milliards sur 48 Go. Le tableau ci-dessous donne les ordres de grandeur d'un fine-tuning sur 5 000 exemples de 500 tokens, une époque.
| Méthode | Mémoire GPU (modèle 7 G) | Mémoire GPU (modèle 27 G) | Durée indicative | Paramètres entraînés |
|---|---|---|---|---|
| Complet | > 100 Go | > 400 Go | Heures, multi-GPU | 100 % |
| LoRA (16 bits) | ≈ 20 Go | ≈ 70 Go | 1 à 3 h sur une carte | 0,2 à 1 % |
| QLoRA (4 bits) | ≈ 8 Go | ≈ 24 Go | 2 à 5 h sur une carte | 0,2 à 1 % |
Les hyperparamètres qui comptent : le rang r (8 à 64 ; plus haut n'est pas toujours mieux), le taux d'apprentissage (10⁻⁴ à 2·10⁻⁴ pour LoRA, dix fois moins pour un fine-tuning complet), le nombre d'époques (1 à 3 ; au-delà, le modèle récite), et la longueur maximale des exemples. On surveille le coût sur le jeu de validation à chaque fraction d'époque et on s'arrête quand il cesse de baisser.
5 · Exemple : un assistant de maintenance industrielle
Une entreprise veut qu'un modèle local rédige, à partir d'une description libre d'un technicien, un compte rendu d'intervention au format de sa GMAO, avec le bon vocabulaire (codes d'équipements, familles de défauts) et une proposition de cause probable classée selon sa grille.
Ligne de base sans entraînement
Un modèle ouvert de 27 milliards, un prompt détaillé avec cinq exemples, la grille de causes fournie dans le contexte. Résultat sur 200 cas de test relus par le responsable maintenance : format correct dans 78 % des cas, cause probable juste dans 61 %.
Constitution du jeu
3 000 comptes rendus historiques, nettoyés (doublons, données personnelles), reformatés en paires « description brute → compte rendu structuré ». 300 d'entre eux relus et corrigés par deux techniciens seniors servent de validation et de test. Coût principal du projet : le temps des experts.
QLoRA sur le modèle de 27 milliards
r = 16, deux époques, 3 h sur une carte de 48 Go, sur site. Résultat sur les mêmes 200 cas : format correct 97 %, cause probable juste 79 %.
Montage final
Le modèle spécialisé rédige ; un second modèle d'une autre famille, non spécialisé, vérifie que les codes d'équipements cités existent dans la GMAO (par appel d'outil) ; les cas où les deux divergent sont marqués pour relecture humaine. La grille de causes reste fournie par RAG pour pouvoir évoluer sans réentraîner.
Chiffres illustratifs d'un cas type. Ce qu'il montre : le fine-tuning a surtout gagné sur le format et le vocabulaire ; sur la cause, une part du gain vient de l'accumulation d'exemples et une part resterait accessible par un meilleur RAG. C'est pourquoi la ligne de base sans entraînement est indispensable : elle dit ce que le fine-tuning a réellement apporté.
6 · Vision : détecter des objets particuliers
Le même raisonnement s'applique aux images, avec une différence : les modèles de vision se spécialisent presque toujours par fine-tuning, parce qu'il n'existe pas d'équivalent du prompt pour dire à un réseau « voici à quoi ressemble notre pièce défectueuse ». Trois familles de tâches, de la plus simple à la plus fine :
- La classification : une étiquette par image (« conforme » / « non conforme »).
- La détection : pour chaque objet, une boîte englobante et une classe (« casque », « fissure », « palette »), la tâche des modèles YOLO.
- La segmentation : le contour exact de chaque objet, pixel par pixel (SAM, YOLO-seg).
Presque personne n'entraîne un détecteur depuis zéro. On part d'un modèle pré-entraîné sur un grand jeu généraliste — COCO, 330 000 images et 80 classes d'objets courants — dont les premières couches savent déjà voir des contours, des textures, des formes. Le transfert d'apprentissage réutilise ces couches et ne réentraîne que les dernières, ou toutes mais brièvement, sur vos images : quelques centaines suffisent là où un entraînement depuis zéro en demanderait des centaines de milliers.
7 · Comment fonctionne YOLO
YOLO — You Only Look Once, 2016 — a rendu la détection assez rapide pour la vidéo en traitant l'image en une seule passe, là où les méthodes précédentes examinaient des milliers de régions candidates l'une après l'autre. Le principe : l'image est découpée en une grille ; pour chaque cellule, le réseau prédit directement si un objet y a son centre, les coordonnées de sa boîte (position, largeur, hauteur), un score de confiance, et la probabilité de chaque classe. Tout est calculé en une seule passe d'un réseau convolutif, d'où des cadences de 30 à plusieurs centaines d'images par seconde selon la taille du modèle et le matériel.
Deux mesures gouvernent tout ce qui suit. L'IoU (intersection over union) compare une boîte prédite à la boîte annotée : aire de leur intersection divisée par l'aire de leur union, de 0 (aucun recouvrement) à 1 (identiques) ; une détection est comptée juste si son IoU dépasse un seuil, 0,5 par convention. La mAP (mean average precision) résume, pour chaque classe puis en moyenne, le compromis entre précision (part des détections qui sont justes) et rappel (part des objets réels qui sont détectés) sur tous les seuils de confiance. « mAP50 = 0,87 » se lit : au seuil d'IoU de 0,5, le détecteur atteint en moyenne 87 % de précision-rappel sur ses classes. La variante mAP50-95, moyennée sur des seuils d'IoU de 0,5 à 0,95, est plus exigeante sur la précision des boîtes.
8 · Entraîner YOLO sur vos images
Définir les classes
Peu de classes, bien séparées, décrites par écrit avec des cas limites : « casque porté » et « casque posé » sont-ils la même classe ? Une définition ambiguë produit des annotations contradictoires, et un modèle hésitant.
Collecter des images représentatives
Celles de la production réelle : mêmes caméras, angles, éclairages, saisons, salissures. Un ordre de grandeur pour un détecteur robuste : 300 à 1 000 images annotées par classe, davantage si les objets sont petits ou variables ; 100 à 200 suffisent pour un premier prototype grâce au transfert d'apprentissage.
Annoter
Tracer une boîte par objet avec un outil d'annotation (CVAT, Label Studio, libres et installables sur site). Compter une à trois minutes par image ; faire relire un échantillon par une seconde personne et mesurer leur accord. Un modèle pré-entraîné peut pré-annoter pour accélérer, mais chaque boîte est validée par un humain.
Augmenter
Pendant l'entraînement, chaque image est transformée au hasard — rotation, recadrage, luminosité, flou, mosaïque de quatre images — pour multiplier les variantes vues sans annoter davantage et rendre le modèle indifférent à ces variations.
Entraîner
Partir des poids COCO d'un modèle de taille adaptée (nano à extra-large : de 3 à 70 millions de paramètres), 50 à 300 époques, images redimensionnées à 640 pixels. Sur une carte de 24 Go, quelques dizaines de minutes à quelques heures. Le coût de validation est suivi à chaque époque ; on garde les poids de la meilleure époque, pas de la dernière.
Choisir le seuil et déployer
Le seuil de confiance se règle sur le jeu de test selon le coût relatif d'un oubli et d'une fausse alerte. Le modèle s'exporte en un format léger (ONNX, TensorRT) et tourne sur un PC industriel, une caméra intelligente ou une carte embarquée.
9 · Évaluer honnêtement
Un modèle spécialisé n'est utile que si l'on sait ce qu'il vaut, et sur quoi. Trois règles. D'abord, mesurer sur le jeu de test, jamais sur des exemples vus à l'entraînement — un score élevé sur des données vues est la norme, pas une preuve. Ensuite, comparer à la ligne de base : le modèle générique avec un bon prompt, ou la méthode actuelle, humaine ou à base de règles ; si le gain est faible, le fine-tuning ne vaut pas sa maintenance. Enfin, regarder au-delà de la moyenne : la matrice de confusion par classe pour la vision, les erreurs relues à la main pour un LLM — c'est là que l'on découvre qu'un modèle excellent en moyenne échoue systématiquement sur une classe rare ou un type de document.
| Tâche | Mesures | Ligne de base à battre | Taille de test raisonnable |
|---|---|---|---|
| LLM — format structuré | Validité du schéma, exactitude champ par champ | Modèle générique + prompt à cinq exemples | 200 à 500 cas relus |
| LLM — rédaction, synthèse | Grille de notation humaine ; second modèle juge, calibré sur un échantillon relu | Modèle générique + RAG | 100 à 300 cas |
| Détection d'objets | mAP50, mAP50-95, précision et rappel par classe, matrice de confusion | Modèle COCO sans réentraînement, ou règles d'image classiques | 10 % des images, jamais vues, représentatives |
10 · Les pièges qui font échouer un projet
- La fuite de données : un même document, ou deux photos de la même scène, dans l'entraînement et dans le test. Le score est excellent, la production déçoit.
- Le décalage de distribution : entraîné sur des images d'été, déployé en hiver ; entraîné sur les comptes rendus d'un site, utilisé sur un autre. Le jeu de test doit couvrir ce que la production verra.
- Le déséquilibre des classes : 5 000 pièces conformes pour 50 défauts. Le modèle apprend à toujours répondre « conforme » et affiche 99 % de justesse. On rééquilibre, on pondère le coût, et on mesure le rappel sur la classe rare.
- Les annotations bruitées : deux annotateurs qui ne s'accordent qu'à 70 % plafonnent le modèle à ce niveau. Mesurer l'accord inter-annotateurs avant d'entraîner.
- L'oubli catastrophique : un LLM trop fine-tuné perd des capacités générales — il ne sait plus répondre en anglais, ou refuser une question absurde. Peu d'époques, un taux d'apprentissage bas, et un jeu de test qui inclut des tâches génériques.
- Le fine-tuning de connaissances : vouloir « apprendre » au modèle le catalogue produits par fine-tuning. Le catalogue change ; le modèle ne peut ni citer sa source ni être corrigé ligne à ligne. C'est un cas pour le RAG.
11 · Après la mise en service
Un modèle entraîné est un composant qui vieillit. Les données changent — nouvelle référence, nouvelle caméra, nouveau rédacteur — et sa performance dérive sans qu'il le signale. Trois dispositifs le tiennent en vie : le versionnement des données, des annotations, du code d'entraînement et des poids, pour pouvoir reproduire ou revenir en arrière ; la surveillance en production, par un échantillon relu chaque semaine et par des indicateurs simples (part de détections à faible confiance, part de réponses rejetées par les utilisateurs) ; et la boucle de réentraînement, où les erreurs constatées rejoignent le jeu d'entraînement et déclenchent, à un rythme convenu, une nouvelle version évaluée sur le même test. Un projet qui ne prévoit pas cette boucle livre un modèle qui sera bon six mois.
Pour une organisation soumise à des contraintes de confidentialité, tout ce qui précède se fait sur site : modèles ouverts, outils d'annotation libres, entraînement sur une station de travail ou un serveur interne. Aucune donnée, aucune image, aucun poids n'a besoin de quitter le périmètre.
Aller plus loin
Le niveau 2 de l'échelle, souvent suffisant et toujours à essayer avant le fine-tuning : RAG, interroger ses documents. Pour choisir le modèle de base : Quel modèle d'IA pour quel besoin ?. Pour cadrer un projet : notre offre Intelligence artificielle et, lorsqu'il faut développer, Solutions technologiques.
Références — Hu et al., LoRA: Low-Rank Adaptation of Large Language Models, 2021 · Dettmers et al., QLoRA, 2023 · Redmon et al., You Only Look Once, 2016 · Lin et al., Microsoft COCO, 2014 (330 k images, 80 classes) · Ultralytics, documentation YOLO (mAP, entraînement, export) · Yosinski et al., How transferable are features in deep neural networks?, 2014 · Ouyang et al., 2022 (affinage par instructions). Les ordres de grandeur de mémoire, de durée et de volume d'images sont indicatifs et dépendent du matériel et du cas.