1 · Le principe : prédire le token suivant
Un modèle de langage reçoit une suite de texte et produit une distribution de probabilité sur ce qui peut venir ensuite. Donnez-lui « La capitale de la France est » et il attribuera une forte probabilité à « Paris », une faible à « Lyon », une quasi nulle à « fromage ». Pour écrire une réponse, on tire un token selon cette distribution, on l'ajoute au texte, et on recommence : un mot après l'autre, jusqu'à un token spécial de fin. Une réponse de deux cents mots, c'est environ trois cents prédictions successives, chacune recalculée sur tout ce qui précède.
Ce cadre explique déjà deux choses. Le modèle ne « sait » pas au sens où nous l'entendons : il a appris, sur des milliers de milliards de mots, quelles suites sont probables. Et il n'a pas de plan : il ne connaît pas la fin de sa phrase quand il en écrit le début. Ce qui ressemble à du raisonnement est la conséquence d'une prédiction devenue extraordinairement bonne, parce que bien prédire du texte humain exige de capturer une grande partie de ce que ce texte encode — grammaire, faits, style, logique.
2 · La tokenisation : découper le texte en unités
Un réseau de neurones ne manipule que des nombres. La première étape convertit donc le texte en une suite d'entiers, chacun désignant un token dans un vocabulaire fixe. Un token n'est ni une lettre ni un mot : c'est un fragment de longueur variable, choisi pour que les suites de caractères fréquentes forment un seul token et les rares se décomposent en plusieurs. « Paris » est un token ; « anticonstitutionnellement » en fait cinq ou six ; un mot dans une langue peu représentée dans les données d'entraînement peut en demander un par syllabe, voire par lettre.
L'algorithme le plus répandu est le Byte Pair Encoding (BPE), adapté au texte en 2016. Il part des 256 octets possibles et fusionne, itération après itération, la paire de tokens adjacents la plus fréquente dans le corpus : « e » + « s » devient « es », puis « es » + « t » devient « est », et ainsi de suite jusqu'à atteindre la taille de vocabulaire voulue. GPT-2 et GPT-3 utilisent 50 257 tokens ; les modèles récents montent à 100 000 ou 200 000 pour mieux couvrir les langues autres que l'anglais et le code. Le découpage est déterministe : le même texte donne toujours les mêmes tokens, et la table de fusion fait partie du modèle.
Trois conséquences pratiques. Le contexte d'un modèle se compte en tokens : 128 000 tokens ≈ 95 000 mots anglais, moins en français. Le coût d'un appel se facture au token. Et certaines faiblesses viennent directement du découpage : un modèle qui voit « fraise » comme un seul token n'a jamais « vu » ses lettres, d'où ses difficultés à les compter ou à les inverser.
3 · Des tokens aux vecteurs : l'espace des embeddings
Un identifiant de token est arbitraire : le numéro 27 455 ne dit rien de l'usine. La deuxième étape associe à chaque token un vecteur — une liste de nombres, 12 288 pour GPT-3 — lu dans une table apprise pendant l'entraînement, la matrice d'embedding (50 257 lignes × 12 288 colonnes ≈ 617 millions de paramètres). Dans cet espace à 12 288 dimensions, la position d'un token encode son sens tel que l'usage le révèle : les vecteurs de « usine », « atelier » et « site » sont proches ; les directions ont un sens — la différence entre « roi » et « reine » ressemble à celle entre « homme » et « femme ».
À ce stade, le vecteur d'un token ne dépend que de lui-même, pas de son contexte : « tour » a le même vecteur dans « tour Eiffel » et « tour de vis ». Tout le travail du Transformer consistera à enrichir chaque vecteur avec ce qui l'entoure. On ajoute aussi une information de position — sans elle, le modèle verrait un sac de mots et ne distinguerait pas « le chien mord l'homme » de « l'homme mord le chien ». Les premiers Transformers ajoutaient un vecteur positionnel fixe ; les modèles récents encodent la position relative directement dans l'attention (RoPE), ce qui aide à généraliser à des textes plus longs que ceux vus à l'entraînement.
4 · Le Transformer, vue d'ensemble
Le Transformer, publié en 2017 par une équipe de Google (« Attention is all you need »), est l'architecture de tous les grands modèles de langage actuels. Sa version « décodeur » — celle de GPT et de ses successeurs — est une pile de blocs identiques, 96 dans GPT-3, chacun composé de deux sous-couches : un mécanisme d'attention, qui fait circuler l'information entre les tokens, et un perceptron multicouche (MLP), qui traite chaque token séparément. Les vecteurs entrent dans le premier bloc et en ressortent transformés ; le bloc suivant reçoit ces vecteurs enrichis, et ainsi de suite. À la fin, le vecteur du dernier token a absorbé tout ce qui compte dans le passage, et c'est lui qui sert à prédire la suite.
Lecture de bas en haut. Les deux sous-couches sont chacune entourées d'une connexion résiduelle (le vecteur d'entrée est additionné à la sortie) et précédées d'une normalisation. Les paramètres se répartissent à peu près pour un tiers dans l'attention et deux tiers dans les MLP.
5 · L'attention, pas à pas
Le mécanisme d'attention répond à une question précise : pour enrichir le vecteur d'un token, quels autres tokens du texte faut-il consulter, et qu'en retenir ? Prenons « la crue menace l'usine que le groupe a rachetée ». Pour bien représenter « rachetée », il faut savoir que c'est l'usine qui l'a été, quatre tokens plus tôt, et par le groupe. L'attention permet à « rachetée » d'aller chercher ces informations, avec des poids appris, sans qu'aucune règle grammaticale n'ait été programmée.
Chaque token produit trois vecteurs à partir de son embedding, par trois matrices apprises W_Q, W_K, W_V :
- La requête (query, Q) : ce que le token cherche. Intuitivement, « rachetée » demande « quel nom suis-je en train de qualifier ? ».
- La clé (key, K) : ce que le token offre. « usine » répond « je suis un nom féminin singulier ».
- La valeur (value, V) : l'information que le token transmet s'il est retenu.
La compatibilité entre une requête et une clé se mesure par leur produit scalaire : élevé si les deux vecteurs pointent dans la même direction. On calcule ce score pour toutes les paires de tokens, on divise par √d (d = dimension des clés, 128 dans GPT-3) pour la stabilité numérique, puis on applique un softmax par requête : les scores deviennent des poids positifs qui somment à 1. Le nouveau vecteur du token est la somme des valeurs de tous les tokens, pondérée par ces poids. En une formule : Attention(Q, K, V) = softmax(QKᵀ / √d) · V.
Valeurs illustratives. Dans un vrai modèle, une tête donnée réalise souvent une fonction identifiable — relier un adjectif à son nom, un pronom à son antécédent, un token au précédent —, découverte par l'entraînement et non programmée.
Un détail de calcul qui compte : la matrice d'attention a autant de cases que le carré du nombre de tokens. Doubler la longueur du texte quadruple ce calcul et la mémoire du cache. C'est le goulot d'étranglement du contexte long, et la raison de nombreuses variantes (attention groupée, fenêtres glissantes, attention linéaire).
6 · Têtes multiples et masque causal
Une seule attention ne peut capter qu'un type de relation à la fois. Le Transformer en exécute donc plusieurs en parallèle — 96 têtes par bloc dans GPT-3 —, chacune avec ses propres matrices W_Q, W_K, W_V, chacune travaillant dans un sous-espace de 128 dimensions (12 288 / 96). Une tête peut suivre les accords grammaticaux, une autre les références, une autre la ponctuation. Leurs sorties sont concaténées et projetées par une dernière matrice pour retrouver la dimension d'origine. Sur 96 blocs, cela fait 9 216 têtes, et plus de 58 milliards de paramètres rien que pour l'attention.
Le masque causal est l'autre ingrédient. À l'entraînement, le modèle prédit le token suivant à chaque position en même temps — c'est ce qui rend l'entraînement efficace. Mais un token ne doit pas pouvoir regarder ceux qui viennent après lui, sinon la prédiction tricherait. On force donc à −∞, avant le softmax, tous les scores où un token regarderait vers l'avenir ; après softmax ils valent zéro. C'est pourquoi la moitié de la grille ci-dessus est grise, et pourquoi ces modèles sont dits autorégressifs.
7 · Le perceptron multicouche : la mémoire du modèle
Après l'attention, chaque vecteur passe — séparément, sans regarder les autres — dans un petit réseau à deux couches : une projection vers une dimension quatre fois plus grande (12 288 → 49 152 dans GPT-3), une activation non linéaire (GELU, une variante lisse de ReLU), puis une projection retour (49 152 → 12 288). Ce sont exactement les couches décrites dans la page sur les réseaux de neurones, et elles concentrent les deux tiers des paramètres du modèle.
Si l'attention est le mécanisme qui déplace l'information entre les tokens, le MLP est celui qui la traite et la complète. C'est là que résident l'essentiel des connaissances factuelles : les travaux d'interprétabilité montrent que des neurones ou des directions particulières de ces couches s'activent sur « tour Eiffel » et poussent le vecteur vers « Paris ». Une image approximative mais utile : chaque ligne de la première matrice pose une question au vecteur (« est-ce un nom de monument français ? »), et chaque colonne de la seconde ajoute une réponse quand la question est active.
8 · Résidus et normalisation : ce qui rend 96 couches entraînables
Deux dispositifs discrets font tenir l'édifice. La connexion résiduelle : la sortie de chaque sous-couche n'est pas substituée au vecteur d'entrée, elle lui est ajoutée. Le vecteur qui traverse le modèle est ainsi un « flux résiduel » que chaque bloc lit et enrichit d'une petite correction, sans jamais l'écraser. Pour l'entraînement, cela signifie que le gradient dispose d'un chemin direct de la sortie vers l'entrée, sans traverser 192 fonctions non linéaires : c'est ce qui évite l'évanouissement du gradient décrit dans la page sur les réseaux de neurones.
La normalisation de couche (LayerNorm, ou sa variante RMSNorm) recentre et remet à l'échelle chaque vecteur avant chaque sous-couche, pour que les valeurs restent dans une plage où les calculs sont stables, quel que soit le bloc. Sans elle, l'amplitude des vecteurs dériverait de bloc en bloc et l'entraînement divergerait.
9 · La sortie : logits, softmax, température
En sortie du dernier bloc, le vecteur du dernier token est projeté sur le vocabulaire par une matrice (12 288 × 50 257), ce qui donne un score brut par token possible — les logits. Un softmax les transforme en probabilités. Puis vient le décodage, c'est-à-dire le choix effectif du token :
- Glouton : toujours le plus probable. Déterministe, mais répétitif et parfois enfermé dans une mauvaise voie.
- Échantillonnage : tirage au sort selon les probabilités. La température règle le contraste : à 0 on retrouve le glouton ; à 1 la distribution apprise ; au-delà, les tokens rares deviennent plus fréquents — plus de variété, plus d'erreurs.
- Top-k et top-p : restreindre le tirage aux k tokens les plus probables, ou aux tokens qui cumulent une probabilité p (par exemple 0,9), pour éliminer la longue traîne des choix absurdes.
C'est ce tirage qui explique qu'une même question donne des réponses différentes d'un appel à l'autre, et qu'une température basse convienne à l'extraction de données là où une température plus haute convient à l'écriture.
10 · L'entraînement : de la prédiction brute à l'assistant
Un modèle sort de son entraînement en trois temps, qui n'ont ni la même échelle ni le même objectif.
Pré-entraînement
Sur un corpus de plusieurs milliers de milliards de tokens — pages web, livres, code, articles — le modèle apprend à prédire le token suivant, par descente de gradient sur l'entropie croisée. GPT-3 a vu 300 milliards de tokens ; les modèles de 2024-2025 en voient dix à cinquante fois plus. C'est là que se forment les connaissances et les capacités, et c'est de loin l'étape la plus coûteuse : des milliers de GPU pendant des semaines ou des mois.
Affinage supervisé
Le modèle pré-entraîné complète du texte ; il ne répond pas. On l'entraîne ensuite, sur quelques dizaines de milliers d'exemples rédigés par des humains, à suivre des instructions au format question–réponse. Même algorithme, données beaucoup plus petites, quelques heures à quelques jours.
Alignement par préférences
Des annotateurs comparent des réponses deux à deux ; un modèle de récompense apprend leurs préférences ; le modèle de langage est ajusté pour les maximiser (RLHF, ou ses variantes directes comme DPO). C'est ce qui donne le ton, les refus et le format des réponses — et c'est aussi là que se logent les biais et la censure propres à chaque éditeur.
Après l'entraînement
Les poids sont figés : le modèle n'apprend plus rien en conversation. Ce qu'il « retient » d'un échange tient dans le contexte, et disparaît avec lui. Le fine-tuning sur vos données, souvent par adaptation de rang faible (LoRA), n'ajoute qu'une petite correction aux poids ; la recherche documentaire (RAG) fournit le contexte à la volée sans toucher aux poids.
11 · L'inférence : contexte, cache et mémoire
À l'usage, deux ressources comptent. Les poids, qu'il faut charger en mémoire : 2 octets par paramètre en précision native, 0,5 en quantification 4 bits — d'où 17 Go pour un modèle de 27 milliards de paramètres en Q4. Et le cache des clés et valeurs : pour ne pas recalculer l'attention de tout le passage à chaque nouveau token, on conserve les vecteurs K et V de tous les tokens précédents, pour chaque couche et chaque tête. Ce cache grandit linéairement avec la longueur du contexte et peut dépasser la taille des poids sur un contexte de 100 000 tokens. La vitesse de génération, elle, est limitée par la bande passante mémoire : à chaque token, il faut relire tous les poids. Un modèle dense de 27 milliards produit 10 à 20 tokens par seconde sur une carte de station de travail ; un modèle « mixture d'experts » n'active qu'une fraction de ses paramètres par token et va plusieurs fois plus vite à mémoire égale.
12 · Ordres de grandeur
| Grandeur | GPT-3 (2020) | Ce que cela signifie |
|---|---|---|
| Paramètres | 175 milliards | Poids et biais appris ; 350 Go en 16 bits |
| Dimension des vecteurs | 12 288 | Taille du flux résiduel qui traverse le modèle |
| Blocs | 96 | Chacun : attention multi-têtes + MLP |
| Têtes d'attention | 96 par bloc, 128 dimensions chacune | 9 216 têtes au total |
| Dimension interne du MLP | 49 152 | 4 × la dimension des vecteurs |
| Vocabulaire | 50 257 tokens | BPE sur octets ; 100 000 à 200 000 pour les modèles récents |
| Contexte | 2 048 tokens | 128 000 à 1 000 000 pour les modèles de 2025-2026 |
| Données d'entraînement | 300 milliards de tokens | Dix à cinquante fois plus aujourd'hui |
| Calcul d'entraînement | ≈ 3,1 × 10²³ FLOP | Quelques milliers de GPU pendant des semaines |
La règle d'échelle observée depuis 2020 : à architecture constante, la qualité de prédiction s'améliore régulièrement quand on augmente ensemble les paramètres, les données et le calcul, selon des lois de puissance. C'est ce qui a justifié la course à la taille — et ce qui explique que des modèles de 20 à 30 milliards de paramètres, entraînés plus longtemps sur plus de données, rivalisent aujourd'hui avec GPT-3 sur la plupart des tâches.
13 · Ce que ce fonctionnement explique
- Les hallucinations. Le modèle produit la suite la plus probable, pas la plus vraie. Une référence bibliographique plausible mais inexistante est une suite très probable.
- La sensibilité à la formulation. Le contexte est tout ce que le modèle voit ; deux formulations différentes sont deux entrées différentes.
- Les limites arithmétiques et orthographiques. Les nombres et les mots sont découpés en tokens ; le modèle n'a pas d'accès direct aux chiffres ou aux lettres.
- L'absence de mémoire. Rien n'est écrit dans les poids après l'entraînement ; ce qui sort du contexte est perdu.
- Le coût du contexte long. L'attention est quadratique, le cache est linéaire : lire un long document coûte cher et la qualité baisse souvent au milieu du contexte.
- Les refus et les biais. Ils viennent de la phase d'alignement, propre à chaque éditeur, et varient d'un modèle à l'autre à architecture identique.
Ces limites ne sont pas des défauts de jeunesse mais des propriétés du mécanisme. Elles dictent la manière de s'en servir : fournir le contexte plutôt que compter sur la mémoire, vérifier ce qui est vérifiable, confier le calcul à un outil, et choisir le modèle sur des mesures plutôt que sur des promesses.
Aller plus loin
Pour choisir un modèle selon un besoin, avec des critères mesurés : Quel modèle d'IA générative pour quel besoin ?. Pour les bases de l'apprentissage par gradient : Comment fonctionne un réseau de neurones. Pour l'IA dans une chaîne de valeur : levier autant que dépendance et notre offre.
Références — Vaswani et al., Attention is all you need, 2017 · Sennrich et al., Neural machine translation of rare words with subword units, 2016 (BPE) · Radford et al., GPT-2, 2019 · Brown et al., Language models are few-shot learners, 2020 (GPT-3 : 175 G paramètres, 96 couches, 96 têtes, d = 12 288, contexte 2 048, 300 G tokens) · Kaplan et al., Scaling laws, 2020 · Ouyang et al., Training language models to follow instructions with human feedback, 2022 · Su et al., RoPE, 2021 · Hu et al., LoRA, 2021 · 3Blue1Brown, Attention in transformers, step-by-step, 2024.