Limites et points critiques
- Coût d'inférence volatile : les éditeurs modifient leurs tarifs et leurs modèles, à suivre sur leurs pages de tarifs officielles — risque budget à anticiper.
- Latence p99 cachée : le TTFT médian peut masquer des pics de latence sous charge — monitoring p95/p99 obligatoire.
- Rate limits API (TPM, RPM) bloquants en production sous charge — passer en tier élevé ou multi-provider.
- Self-hosting trompeur : économique sous très fort volume, mais l'opex GPU et l'effort d'exploitation dépassent souvent le SaaS à volume modéré.
- Le prix de sortie est 5 fois celui de l'entrée chez Claude (Sonnet 4.5 : 15 $ contre 3 $ par million de tokens, tarif public lu le 24/10/2026 sur claude.com/pricing) — beaucoup d'agents sur-payent en oubliant max_tokens.
Évolution probable (12-24 mois)
- Les prix des modèles évoluent vite ; comparer les pages de tarifs officielles à chaque décision de budget.
- Speculative decoding (Llama 3 + draft model) qui accélère l'inférence sans changer la distribution des sorties du modèle principal.
- Quantization runtime (INT4, FP8) qui réduit la mémoire du self-hosting : 4 bits contre 16 bits = 4 fois moins de mémoire pour les poids.
- Caches persistants entre sessions proposés par certains fournisseurs, qui peuvent réduire le coût des entrées répétées.
Questions fréquentes
Qu'est-ce que l'inférence LLM ?+
L'inférence LLM est le processus qui transforme un prompt d'entrée en réponse générée par le modèle. Techniquement : le LLM prend le prompt tokenisé, le passe dans ses milliards de paramètres figés, et génère token par token (mot par mot) la suite la plus probable selon ses calculs. C'est ce qui se passe à chaque appel d'API Claude, GPT, Mistral. À ne pas confondre avec l'entraînement, qui est le processus initial (et coûteux) qui crée le modèle.
À quoi sert de comprendre l'inférence ?+
Comprendre l'inférence sert à 3 objectifs : (1) estimer le coût opex d'un projet IA — c'est un poste majeur du TCO, (2) optimiser la latence en production — le TTFT compte pour le chat, le débit en tokens par seconde pour les longues réponses, (3) choisir entre cloud API et self-hosting — à partir d'un certain volume le self-hosting peut devenir rentable, à calculer sur son cas.
Différence entre inférence et entraînement ?+
Entraînement : on construit le modèle en lui montrant de très grands volumes de texte — coût très élevé supporté par l'éditeur, dure longtemps, se fait une fois par release majeure, utilise de grandes grappes de GPU. Inférence : on utilise le modèle entraîné pour répondre à des requêtes — facturée au token, courte par requête, se fait à chaque appel, utilise quelques GPU ou même CPU. En PME : vous ne faites JAMAIS d'entraînement. Vous faites de l'inférence (et éventuellement du fine-tuning, qui est un entraînement léger sur un modèle déjà existant).
Comment optimiser l'inférence LLM en pratique ?+
Cinq leviers 2026 : (1) Streaming — afficher token par token plutôt qu'attendre la réponse complète, ce qui améliore la latence perçue, (2) Model routing — un modèle léger (Haiku, Mistral Small) sur le gros du volume, un modèle plus puissant (Sonnet, GPT-5) sur les cas complexes, (3) Prompt caching Anthropic/Gemini — la lecture du cache est facturée moins cher que l'entrée (Claude Sonnet 4.5 : 0,30 $ contre 3 $ par million de tokens, soit 10 fois moins, tarif public lu le 24/10/2026 sur claude.com/pricing), (4) Batch API (Anthropic, OpenAI) — tarif réduit si la latence est acceptable, à lire sur la page de tarifs du fournisseur, (5) Structured output avec max_tokens strict — borne le coût output. Le self-hosting avec quantization (INT4) réduit la mémoire nécessaire, à comparer au coût du SaaS sur son propre volume.
Combien coûte l'inférence pour une PME ?+
Notre calcul pour une requête de 1 500 tokens en entrée et 500 en sortie, à partir des tarifs publics lus le 24/10/2026 sur claude.com/pricing : Claude Haiku 4.5 (1 $ / 5 $ par million de tokens) = 1 500 × 1 / 1 000 000 + 500 × 5 / 1 000 000 = 0,004 $ par requête ; Claude Sonnet 4.5 (3 $ / 15 $) = 0,012 $ ; Claude Opus 4.7 (5 $ / 25 $) = 0,02 $. Pour 100 000 requêtes par mois : 400 $ avec Haiku 4.5, 1 200 $ avec Sonnet 4.5, 2 000 $ avec Opus 4.7. Pour Mistral, OpenAI et les autres fournisseurs, voir leurs pages de tarifs officielles. Le coût réel varie avec la longueur des prompts, le model routing, le prompt caching et la longueur des sorties.
Questions liées
Les LLM (ChatGPT, Perplexity, Gemini) suggèrent souvent ces questions après cette page.
- Combien coûte l'inférence Claude vs GPT vs Mistral en 2026 ?
- Self-hosting ou cloud API : à partir de quel volume basculer ?
- Comment réduire la latence d'inférence en production ?
- Qu'est-ce que le TTFT et pourquoi c'est important ?
- Speculative decoding : qu'est-ce que c'est ?
L’inférence d’un LLM, c’est l’acte de générer une réponse à partir d’un prompt. C’est ce qui se passe à chaque appel API. À ne pas confondre avec l’entraînement : entraîner un LLM coûte très cher et se fait une fois. L’inférence se fait des milliards de fois par jour, et c’est ce que vous payez en tant qu’utilisateur en API.
Vs entraînement
| Entraînement | Inférence | |
|---|---|---|
| Quand | 1 fois (ou par release majeure) | À chaque requête |
| Coût | Très élevé, supporté par l’éditeur | Au token, selon le tarif du modèle |
| Qui | OpenAI, Anthropic, Mistral, Google | Vous, à l’usage |
| Hardware | Grandes grappes de GPU | Quelques GPUs ou même CPU |
| Durée | Longue | Courte, par requête |
Vous, en PME, vous ne faites jamais d’entraînement. Vous faites de l’inférence (et éventuellement du fine-tuning, qui est de l’entraînement léger sur un modèle déjà existant).
Coût par requête 2026
Notre calcul pour une requête PME typique (1 500 tokens en entrée, 500 en sortie), à partir des tarifs publics lus le 24/10/2026 sur claude.com/pricing :
- Claude Haiku 4.5 (1 $ / 5 $ par million de tokens) : 0,0015 + 0,0025 = 0,004 $
- Claude Sonnet 4.5 (3 $ / 15 $) : 0,0045 + 0,0075 = 0,012 $
- Claude Opus 4.7 (5 $ / 25 $) : 0,0075 + 0,0125 = 0,02 $
Pour Mistral, OpenAI et les autres fournisseurs : tarifs API OpenAI et tarifs Mistral. Sur 100 000 requêtes par mois en Sonnet 4.5, 0,012 × 100 000 = 1 200 $ par mois. L’inférence peut devenir un poste important du coût opérationnel d’un projet IA.
Latence typique 2026
- First token (temps avant le premier mot) : à mesurer sur votre cas.
- Throughput : tokens par seconde, variable selon le modèle et la charge.
- Réponse complète : dépend de la longueur de la sortie et du modèle.
Pour un chatbot temps réel, surveiller le first token : au-delà d’un certain délai, l’utilisateur perçoit une latence inconfortable. Le streaming aide énormément côté UX.
Pour aller plus loin
- Token — définition — l’unité de facturation de l’inférence.
- LLM — définition — la brique qui fait l’inférence.
- Combien coûte un projet IA en PME — budget global.