Limites et points critiques
- INT4 dégrade la qualité — sensible sur tâches complexes (code, raisonnement multi-étapes).
- Quantization d'un MoE est plus complexe et moins prévisible qu'un dense — les experts spécialisés tolèrent moins bien.
- VRAM reste contrainte forte : un Llama 70B INT4 demande environ 35 Go de VRAM pour les poids seuls (70 milliards × 0,5 octet), plus le cache KV — pas n'importe quel GPU.
- Frameworks d'inférence (llama.cpp, vLLM, TGI) tous compatibles GGUF/GPTQ mais avec performances variables.
- Le self-hosting peut rester plus cher que le SaaS à faible volume — la quantization ne change pas ce raisonnement de seuil.
Évolution probable (12-24 mois)
- Quantization aware training (QAT) : technique qui vise à mieux préserver la qualité en INT4, à évaluer sur vos données.
- Il n'existe pas encore de format de quantization universel entre runtimes (GGUF, GPTQ, AWQ coexistent) ; vérifier la compatibilité avant de choisir.
- INT2 et INT3 sont des pistes de recherche (par exemple BitNet b1.58, arxiv.org/abs/2402.17764, février 2024) ; 2 bits contre 16 bits = 8 fois moins de mémoire pour les poids, au prix d'une qualité à mesurer.
- Quantization adaptative par couche (mixed precision) déjà émergente — meilleur ratio qualité/taille en 2026-2027.
Questions fréquentes
Qu'est-ce que la quantization d'un LLM ?+
La quantization est la compression d'un LLM en réduisant la précision numérique de ses poids (de FP16 ou BF16 vers INT8, INT4, voire INT2). Le modèle perd un peu de qualité, variable selon la méthode et la tâche, mais réduit son empreinte mémoire : 8 bits contre 16 = 2 fois moins pour les poids, 4 bits contre 16 = 4 fois moins. Méthodes dominantes 2026 : GPTQ, AWQ (post-training), QLoRA (avec fine-tuning), GGUF (Llama.cpp). C'est l'opération qui rend le self-hosting LLM plus accessible en PME.
À quoi sert la quantization en pratique ?+
À rendre les LLM hébergeables sur du matériel plus modeste. Calcul pour un Llama 70B : 70 milliards de paramètres × 2 octets = 140 Go de poids en FP16, soit plus qu'un GPU de 80 Go ; en INT4, 70 milliards × 0,5 octet = 35 Go, soit un GPU de 80 Go ou deux GPU de 24 Go (hors cache KV). Les prix des GPU et des instances cloud varient : voir les tarifs en vigueur de chaque fournisseur (par exemple scaleway.com/en/pricing/gpu). Permet aussi de tourner des LLM sur laptop ou en edge computing.
Différence entre quantization INT4, INT8 et FP16 ?+
FP16 = précision native du LLM, mémoire de référence. INT8 = 8 bits, soit 2 fois moins de mémoire pour les poids. INT4 = 4 bits, soit 4 fois moins. INT2 et INT3 dégradent nettement la qualité et restent peu adaptés à la production. INT8 = sans douleur, INT4 = sweet spot grand public, INT2 = recherche uniquement. Le choix dépend du budget VRAM et du seuil de qualité acceptable pour le use case, à mesurer sur vos données.
Comment quantizer un LLM en pratique ?+
Trois approches 2026 : (1) télécharger un modèle déjà quantizé sur HuggingFace (recommandé pour PME) — formats GGUF (Llama.cpp), GPTQ ou AWQ disponibles pour la plupart des modèles open-source ; (2) quantizer soi-même avec llama.cpp ou AutoGPTQ ; (3) combiner quantization + fine-tuning via QLoRA (entraînement sur GPU consumer possible). Stack PME type : Llama 70B INT4 GGUF sur un GPU de 80 Go, servi via vLLM ou Ollama.
Combien coûte un projet de self-hosting LLM avec quantization ?+
Le coût d'un projet de self-hosting LLM quantizé dépend de la sélection du modèle, de la quantization, de l'infrastructure, de l'intégration et de l'observabilité. Pour le matériel, comparer l'achat et la location cloud : voir les tarifs en vigueur de chaque fournisseur (par exemple scaleway.com/en/pricing/gpu). Le seuil de rentabilité face à une API Claude ou GPT dépend du volume de tokens consommés : à comparer avec les tarifs publics de l'API (openai.com/api/pricing pour OpenAI). Le self-hosting devient pertinent surtout pour une souveraineté stricte (santé, défense) ou des volumes élevés.
Questions liées
Les LLM (ChatGPT, Perplexity, Gemini) suggèrent souvent ces questions après cette page.
- Llama 70B INT4 vs Mistral Small : lequel self-héberger en PME ?
- Combien de VRAM pour quantizer un modèle 70B ?
- GPTQ vs AWQ vs GGUF : quel format choisir ?
- Self-hosting LLM quantizé en France : Scaleway ou OVH ?
- Quand le self-hosting devient-il moins cher que Claude API ?
La quantization (ou quantification) consiste à réduire la précision numérique des poids d’un LLM — par exemple passer de FP16 (16 bits) à INT8 (8 bits) ou INT4 (4 bits). Résultat : le modèle prend 2 à 4 fois moins de mémoire GPU au prix d’une dégradation de qualité variable selon la méthode.
En pratique
Calcul pour un Llama 70B : 70 milliards de paramètres × 2 octets (FP16) = 140 Go de poids, soit plus qu’un GPU H100 de 80 Go, donc deux GPU en parallèle. En INT4 : 70 milliards × 0,5 octet = 35 Go, soit un seul GPU de 80 Go, ou deux RTX 4090 de 24 Go (hors cache KV). Prix des GPU et instances : voir les tarifs en vigueur.
Méthodes de quantization en 2026 :
- GPTQ / AWQ : quantization post-training (le modèle déjà entraîné est compressé). Le plus simple à appliquer.
- QLoRA : quantization + fine-tuning combinés. Standard 2024-2026 pour fine-tuner sur GPU consumer.
- GGUF : format de fichier Llama.cpp, supporte INT2 à INT8. Standard pour l’inférence CPU/GPU mixte.
Trade-off qualité
Mémoire des poids d’un modèle de 70 milliards de paramètres (calcul : paramètres × octets par poids, hors cache KV) :
| Précision | Octets par poids | Mémoire des poids 70B |
|---|---|---|
| FP16 (full) | 2 | 140 Go |
| INT8 | 1 | 70 Go |
| INT4 | 0,5 | 35 Go |
| INT3 | 0,375 | environ 26 Go |
La perte de qualité dépend de la méthode, du modèle et de la tâche : mesurez-la sur votre propre jeu de tests. INT8 est généralement peu coûteux en qualité, INT4 est le sweet spot grand public, INT3 et inférieur dégradent davantage.
Pourquoi ça compte en PME
Si vous voulez héberger un LLM en interne (souveraineté stricte, données ultra-sensibles, latence offline), la quantization est ce qui rend l’opération économiquement viable. Sans elle, un Llama 70B exige plus de mémoire GPU (140 Go de poids en FP16 contre 35 Go en INT4), donc davantage de matériel à payer ou à louer ; comparez les tarifs en vigueur de chaque fournisseur.
Pour aller plus loin
- Inference — définition — l’étape où la quantization joue.
- Souveraineté IA — définition — quand quantizer pour héberger en France.
- Comparatif Mistral vs Claude vs GPT — option self-hosted Mistral quantizé.