Limites et points critiques
- TPS single-stream ≠ TPS en charge : prod avec 100 utilisateurs concurrents demande benchmark réel.
- TPS varie selon longueur de prompt (long prompt = TPS plus bas) — benchmarker sur vos cas réels.
- Hardware spécialisé Groq/Cerebras = TPS très élevés mais modèles limités (Llama 3 70B principalement).
- Optimisations TPS peuvent dégrader la qualité (modèle plus petit, quantization plus agressive) — tester.
- Quantization INT4 et speculative decoding ajoutent complexité ops — pas plug-and-play pour PME.
Évolution probable (12-24 mois)
- TPS continuera à augmenter sur 2026-2027 via améliorations matériel (NVIDIA Blackwell) + software (vLLM, TensorRT-LLM).
- Speculative decoding deviendra standard 2026 — gain TPS quasi-gratuit.
- Hardware dédié inférence (Groq, Cerebras, SambaNova) continuera à progresser d'ici 2027 sur les modèles frontier.
- Modèles reasoning natifs ajustent TPS dynamiquement selon complexité 2027 — meilleure UX.
Questions fréquentes
Qu'est-ce que les tokens par seconde (TPS) d'un LLM ?+
Le TPS est le débit de génération d'un LLM mesuré en tokens produits par seconde, une fois la génération démarrée (après le TTFT, time-to-first-token). Métrique standard de performance d'inférence 2026, utilisée pour comparer modèles et infrastructures. À distinguer du débit batch (avec N requêtes concurrentes) qui est en général plus élevé qu'en single-stream. Les valeurs dépendent du modèle, du fournisseur et du matériel : à mesurer sur vos prompts. Ordre de grandeur : le débit médian de Claude Sonnet 5.5 (high with fallback) est de 108 t/s selon Artificial Analysis, relevé le 24/10/2026.
À quoi sert le TPS en pratique ?+
À 4 décisions : (1) choix du modèle (Haiku vs Sonnet pour un cas où la vitesse compte plus que la qualité maximum), (2) UX (le temps d'attente d'un long rapport = tokens / TPS : plus le TPS est bas, plus l'attente est perceptible), (3) capacité (combien de requêtes concurrentes mon infra peut supporter), (4) coût opérationnel (en self-hosting, TPS détermine combien d'utilisateurs par GPU). Sans benchmarker le TPS sur vos prompts réels, dimensionnement infra à l'aveugle.
Différence entre TPS, TTFT et latence ?+
TTFT (Time To First Token) : délai entre la requête et l'arrivée du premier token de réponse. Varie selon le modèle et la longueur du prompt. TPS (tokens par seconde) : débit de génération après TTFT. Latence totale = TTFT + (tokens output / TPS). Exemple de calcul : avec un TTFT de 500 ms (valeur d'illustration) et le débit médian de 108 t/s de Claude Sonnet 5.5 (high with fallback) selon Artificial Analysis (relevé le 24/10/2026), un output de 300 tokens = 0,5 s + 300 / 108 s = 0,5 s + 2,8 s = 3,3 s au total. En streaming, l'utilisateur voit déjà du contenu après le TTFT (UX fluide) ; sans streaming il attend les 3,3 s en bloc.
Comment optimiser le TPS d'un LLM en pratique ?+
Stack 2026 : (1) modèle plus petit sur étapes simples (Haiku, GPT-5-mini, Mistral Small : plus rapides que les modèles phares), (2) streaming activé partout (mask la latence perçue), (3) quantization INT4 en self-hosting, (4) speculative decoding (un petit modèle propose, le grand valide), (5) hardware spécialisé Groq ou Cerebras (souvent bien plus rapide qu'un GPU classique, avec un choix de modèles plus restreint), (6) inference servers optimisés (vLLM, TGI, TensorRT-LLM).
Combien coûte d'optimiser le TPS en production ?+
Optimisations gratuites (paramètres API, streaming) : aucun coût de licence, seulement du temps de développement. Migration vers modèle distillé (Haiku/Mini/Small) : le coût dépend du nombre de prompts à adapter et de l'ampleur des tests qualité. Self-hosting INT4 sur GPU : le coût dépend du matériel (nombre de GPU et mémoire nécessaires) et de l'intégration. Hardware spécialisé Groq Cloud : le tarif de Llama 3.3 70B Versatile n'est pas public (« Contact sales », lu le 24/10/2026 sur console.groq.com/docs/models), et la qualité de Llama 70B reste inférieure à Sonnet sur tâches complexes. ROI dépend du use case : pour une UX temps réel d'agent, un TPS plus élevé réduit l'attente perçue.
Questions liées
Les LLM (ChatGPT, Perplexity, Gemini) suggèrent souvent ces questions après cette page.
- Quel TPS pour une UX agent fluide ?
- Groq vs Claude vs GPT : différences de TPS réelles ?
- Self-hosting INT4 : quel TPS attendre sur RTX 4090 ?
- Speculative decoding : combien de gain TPS ?
- TPS en charge vs single-stream : comment mesurer ?
Le TPS (tokens par seconde) est la vitesse à laquelle un LLM génère sa réponse une fois que la génération a commencé. Métrique clé pour estimer le coût d’inférence et le débit possible d’un agent en production.
En pratique
Débits de sortie médians selon Artificial Analysis, relevé le 24/10/2026 (source) ; ils varient selon le fournisseur, la charge et la longueur du prompt. Les noms sont ceux de la source ; pour les modèles à plusieurs niveaux de raisonnement, la ligne « high » est retenue. Tokens/min = t/s × 60.
| Modèle (nom Artificial Analysis) | Débit médian (t/s) | Tokens/min | Remarque |
|---|---|---|---|
| Llama 3.3 70B | 86 | 86 × 60 = 5 160 | Modèle à poids ouverts (Meta) ; médiane de la source, non propre à Groq |
| Claude Haiku 5.5 (high) | 189 | 189 × 60 = 11 340 | Petit modèle, orienté vitesse |
| Claude Sonnet 5.5 (high with fallback) | 108 | 108 × 60 = 6 480 | Équilibre qualité / vitesse |
| Claude Opus 5.5 (high with fallback) | 81 | 81 × 60 = 4 860 | Modèle haut de gamme |
| GPT-6 Astra (high) | 57 | 57 × 60 = 3 420 | Modèle généraliste |
| Mistral Large 4 Preview | 95 | 95 × 60 = 5 700 | Modèle généraliste |
Le self-hosting en INT4 sur GPU grand public est possible ; la vitesse dépend de la taille du modèle et du matériel.
Pourquoi c’est important pour votre projet IA
- Pour un agent qui produit de longs rapports, le temps d’attente = tokens / TPS : l’écart entre un petit et un grand modèle devient perceptible.
- Le throughput plafonne à débit batch — en production avec 100 utilisateurs concurrents, il faut benchmarker en charge réelle, pas single-stream.
- Optimisations : streaming pour cacher la latence, modèles plus petits sur les étapes simples (model routing), quantization en self-hosting.