Limites et points critiques
- Modèles distillés perdent une partie de la qualité du teacher — inacceptable pour les cas où la précision est critique (médical, juridique sensible).
- Distillation custom complexe à éval : facile de surfiter au teacher et de mal généraliser hors domaine.
- Volume minimum requis : à faible volume, l'économie ne couvre pas le coût de distillation.
- Modèles distillés peuvent hériter des biais du teacher — à auditer.
- Distillation = entraînement, donc soumis aux mêmes contraintes RGPD/AI Act sur les données utilisées.
Évolution probable (12-24 mois)
- Speculative decoding via small models distillés — combiner large + small en inférence pour accélérer la génération sans perte de qualité.
- Distillation multi-teacher (de plusieurs LLM frontiers vers un petit modèle) — qualité combinée supérieure au single-teacher.
Questions fréquentes
Qu'est-ce que la distillation d'un LLM ?+
La distillation est une technique de compression de modèle où un grand modèle ('teacher', par exemple Claude Opus 4.5) entraîne un petit modèle ('student', par exemple Haiku 4.5) à reproduire son comportement. Le student ne voit pas seulement la bonne réponse, mais la distribution complète des probabilités du teacher (knowledge distillation, Hinton et al. 2015). Le résultat est un modèle plus petit qui garde une bonne part des capacités du grand sur les tâches courantes, à un coût d'inférence moindre.
À quoi sert la distillation en pratique ?+
La distillation sert à 3 objectifs : (1) réduire le coût d'inférence — par exemple Haiku 4.5 coûte 3 fois moins que Sonnet 4.5 en entrée (calcul : 1 $ contre 3 $ par million de tokens, tarifs publics lus le 24/10/2026 sur claude.com/pricing), (2) réduire la latence — un petit modèle répond en général plus vite, (3) permettre l'auto-hébergement — Phi-4 (14B) ou Llama 3.2 (3B) demandent bien moins de mémoire GPU qu'un modèle de 70B. Cas d'usage typique en PME : utiliser un Haiku ou un Mistral Small pour le gros du volume agent (extraction, classification, formatage), et garder Sonnet ou GPT-5 pour les cas complexes.
Différence entre distillation et fine-tuning ?+
Distillation = compresser un grand modèle en petit modèle (source : un autre modèle, le teacher). Fine-tuning = spécialiser un modèle sur un domaine (source : données annotées par humain). La distillation se fait généralement par le fournisseur LLM (Anthropic distille Sonnet → Haiku, Mistral distille Large → Small). Le fine-tuning se fait par l'utilisateur final (vous, sur vos propales gagnées par exemple). Distillation = compression. Fine-tuning = spécialisation. Les deux peuvent se combiner : distiller un grand modèle fine-tuné devient un petit modèle spécialisé.
Comment bénéficier de la distillation pour son entreprise ?+
Deux approches en 2026 : (1) Utilisation directe — utiliser les modèles compacts proposés par les fournisseurs (Haiku, GPT-5-mini, Mistral Small, Gemini 2.5 Flash) là où un modèle full serait sur-dimensionné. Stratégie 'model routing' : petit modèle par défaut, grand modèle ou modèle de raisonnement pour les cas difficiles. (2) Distillation custom — distiller un grand modèle vers un petit modèle propre, sur un domaine spécifique (juridique fr, médical fr, terminologie BTP). Le coût dépend du nombre d'exemples à générer, du GPU et de l'évaluation ; l'approche n'est viable qu'à très fort volume.
Combien coûte la distillation custom ?+
Le coût de la distillation custom se décompose en trois postes : (1) la génération d'exemples par un grand modèle teacher (nombre d'exemples multiplié par le prix par million de tokens du teacher, à lire sur la page de tarifs de l'éditeur), (2) le fine-tuning du petit modèle, par exemple avec QLoRA, facturé en heures de GPU, (3) l'évaluation et la calibration, qui se comptent en temps humain. À faible volume, utiliser un modèle compact clé en main reste en général plus rentable.
Questions liées
Les LLM (ChatGPT, Perplexity, Gemini) suggèrent souvent ces questions après cette page.
- Claude Haiku vs GPT-5-mini vs Mistral Small : lequel choisir en 2026 ?
- Comment distiller un LLM custom pour son entreprise ?
- Distillation vs quantization : quelle différence ?
- Phi-4 vs Llama 3.2 vs Gemma 2 : quel small model open-source en 2026 ?
- Quel ROI attendre d'un model routing optimisé ?
La distillation est une technique où un grand modèle (“teacher”) entraîne un petit modèle (“student”) à reproduire son comportement. Le student ne voit pas seulement la bonne réponse, mais la distribution complète des probabilités du teacher. Résultat : un modèle 10 à 100× plus petit qui conserve 80-95 % des capacités du grand.
En pratique
Modèles compacts souvent cités en 2026 (la part de distillation dans leur entraînement se lit dans la documentation de chaque éditeur) :
- Claude Haiku : petit modèle de la gamme Anthropic, moins cher que Sonnet et Opus (Haiku 4.5 à 1 $ en entrée contre 3 $ pour Sonnet 4.5, soit 3 fois moins ; tarifs publics lus le 24/10/2026 sur claude.com/pricing).
- GPT-5 Mini : version réduite de GPT-5 (OpenAI).
- Mistral Small : modèle plus petit et moins coûteux de la gamme Mistral.
- Phi-4 (Microsoft) : modèle compact de 14B paramètres.
- Llama 3.2 1B/3B : petits modèles de Meta, adaptés à l’auto-hébergement.
Ces modèles compacts performent souvent correctement sur les tâches courantes, à un coût moindre.
Distillation vs fine-tuning
| Distillation | Fine-tuning | |
|---|---|---|
| Source | un autre modèle (teacher) | données annotées par humain |
| Coût | moyen | bas si LoRA, élevé si full |
| Bénéfice | compresse un grand modèle | spécialise un modèle |
| Quand | créer un petit modèle qualité | adapter à un domaine |
Impact pour PME
Vous bénéficiez de la distillation sans avoir à la faire vous-même : utilisez Haiku, GPT-5 Mini ou Mistral Small là où un modèle full serait sur-dimensionné. Le gain se calcule sur les tarifs publics : par exemple Haiku 4.5 à 1 $ en entrée contre 3 $ pour Sonnet 4.5, soit 3 fois moins (tarifs lus le 24/10/2026 sur claude.com/pricing).
Règle de routage 2026 : confier l’essentiel du volume à un petit modèle, une part moindre à un grand modèle standard et le reste à un modèle de raisonnement. Les proportions et l’économie obtenue dépendent de vos tâches : à mesurer sur vos propres requêtes.
Cas où distiller soi-même
- Vous avez un domaine très spécifique (juridique fr, médical fr, terminologie BTP).
- Vous voulez self-hoster un petit modèle qui matche un grand sur votre domaine.
- Volume très élevé, où l’économie justifie l’effort.
Sinon, prenez un modèle distillé clé en main.
Pour aller plus loin
- Fine-tuning — définition — alternative.
- Quantization — définition — autre technique de compression.
- Comparatif Claude vs GPT vs Mistral — comparer les modèles distillés.