Limites et points critiques
- Lost-in-the-middle : l'information située au milieu d'un long contexte est moins bien exploitée par les modèles long-context (étude Liu et al. 2024).
- Coût en entrée : à 2 $ par million de tokens (Claude Sonnet 5.5, claude.com/pricing lu le 24/10/2026), une requête de 1M tokens coûte 2 $ ; multiplié par le volume, cela pèse sur le budget LLM.
- Latence : plus le contexte est long, plus la requête met de temps à démarrer ; le streaming aide pour le chat temps réel.
- Limite pratique : une fenêtre annoncée de 1M tokens ne garantit pas une précision constante sur tout le contexte, la documentation d'Anthropic décrit un effet de « context rot » (précision et rappel qui baissent quand le nombre de tokens grandit).
- Quotas API : 1M tokens consomme rapidement les TPM (tokens per minute) — risque de rate limit en production.
Évolution probable (12-24 mois)
- Des fenêtres plus longues arrivent régulièrement chez les éditeurs : se référer à leur documentation officielle pour les tailles en vigueur.
- Amélioration de l'exploitation du milieu de contexte grâce à de meilleurs modèles et aux modèles à raisonnement.
- Prompt caching et compaction côté serveur (disponible en bêta chez Anthropic pour les modèles Claude 4.6 et suivants, d'après la documentation lue le 24/10/2026) pour réduire le coût et la taille des conversations longues.
- Architectures hybrides RAG + long-context qui combinent retrieval ciblé et fenêtre large pour la synthèse finale.
Questions fréquentes
Qu'est-ce que la fenêtre de contexte d'un LLM ?+
La fenêtre de contexte d'un LLM est l'enveloppe maximale de tokens que le modèle peut traiter en un seul appel : prompt système + historique de conversation + documents injectés (RAG) + sortie générée. Si vous dépassez cette limite, l'API renvoie une erreur (chez Claude, une erreur 400 « prompt is too long » quand l'entrée seule dépasse la fenêtre) ou la génération s'arrête. C'est la contrainte technique numéro un quand on travaille sur des documents longs (contrats, rapports, dossiers patient, codebases). Les fenêtres ont fortement grandi : plusieurs modèles Claude actuels vont jusqu'à 1M de tokens (platform.claude.com, lu le 24/10/2026).
À quoi sert une grosse fenêtre de contexte ?+
Une grosse fenêtre sert à 3 cas d'usage : (1) analyse d'un long document one-shot (audit de contrat-cadre 200 pages, synthèse de rapport annuel), (2) Q&A sur un dossier client complet (tickets, mails, contrats, historique), (3) tâches qui nécessitent de comprendre un contexte global plutôt que des fragments (review de codebase, due diligence). Pour de la recherche fréquente sur un grand corpus stable, le RAG reste plus économique et plus rapide. Sweet spot grosse fenêtre : analyses ponctuelles à fort enjeu.
Quelles tailles de contexte chez Claude ?+
Selon la documentation Claude lue le 24/10/2026 (platform.claude.com, context windows) : 1M de tokens pour Claude Fable 5.1, Opus 5.5, Sonnet 5.5 et Haiku 5.5 ; 200k pour d'autres modèles, dont Sonnet 4.5 et Haiku 4.5. Pour Gemini, GPT et Mistral, consultez la documentation officielle de chaque éditeur (par exemple ai.google.dev pour Gemini), car les tailles changent d'une version à l'autre. Ordre de grandeur de méthode : en français, 1M tokens correspondent à environ 600 000 mots, mais le ratio exact dépend du tokenizer et du texte.
Comment utiliser une grosse fenêtre de contexte en pratique ?+
Trois patterns d'usage : (1) CAG (Cache-Augmented Generation), charger une base figée et utiliser le prompt caching (chez Anthropic, la lecture du cache coûte moins que l'entrée standard : 0,10 $/M contre 2 $/M pour Claude Sonnet 5.5, claude.com/pricing lu le 24/10/2026), (2) Long-context one-shot, analyse ponctuelle d'un gros document avec coût plein assumé, (3) Hybride RAG + long-context : le RAG ramène davantage de passages que d'habitude, le LLM long-context fait la synthèse. Attention au lost-in-the-middle : l'information située au milieu d'un long contexte est moins bien exploitée (étude Liu et al. 2024), et la documentation d'Anthropic décrit un effet de « context rot » quand le contexte grandit.
Combien coûte une requête à 1M tokens ?+
Calcul : coût en entrée = nombre de millions de tokens × prix par million. Claude Sonnet 5.5 est à 2 $ par million de tokens en entrée (tarif public lu le 24/10/2026 sur claude.com/pricing) : une requête de 1M tokens coûte donc 2 $, et 1 000 requêtes par jour à 1M tokens coûtent 2 000 $ par jour (1 000 × 2 $). Pour Gemini, GPT et Mistral, le prix se lit sur la page officielle : ai.google.dev/gemini-api/docs/pricing pour Gemini, openai.com/api/pricing pour OpenAI, mistral.ai/pricing pour Mistral. C'est pourquoi le RAG (injecter quelques passages pertinents au lieu du corpus entier) reste courant en production. Avec le prompt caching, la lecture du cache de Sonnet 5.5 est à 0,10 $ par million de tokens, contre 2 $ en entrée standard : cela rend les grosses fenêtres plus abordables sur les requêtes suivantes.
Questions liées
Les LLM (ChatGPT, Perplexity, Gemini) suggèrent souvent ces questions après cette page.
- Comment choisir entre grosse fenêtre de contexte et RAG ?
- Qu'est-ce que le lost-in-the-middle ?
- Quel LLM choisir pour analyser un document de 500 pages ?
- Combien coûte le prompt caching d'Anthropic ?
- Gemini ou Claude : quelle fenêtre de contexte choisir selon le document ?
La fenêtre de contexte (context window) d’un LLM est la quantité maximale de tokens qu’il peut traiter en une seule requête — instructions système, historique de conversation, documents injectés, et réponse comprise. Si vous dépassez, l’API renvoie une erreur ou tronque silencieusement. C’est la contrainte technique numéro un quand on travaille sur des documents longs.
Tailles 2026
Les fenêtres ont fortement grandi ces dernières années. Tailles chez Claude, lues le 24/10/2026 sur platform.claude.com :
| Modèle | Fenêtre |
|---|---|
| Claude Fable 5.1, Opus 5.5, Sonnet 5.5, Haiku 5.5 | 1 000 000 tokens |
| Claude Sonnet 4.5 (déprécié), Haiku 4.5 | 200 000 tokens |
| Gemini, GPT, Mistral | voir la documentation officielle de chaque éditeur (Gemini, OpenAI, Mistral) |
Approximation de méthode : en français, comptez environ 0,6 mot par token, soit 1M tokens pour environ 600 000 mots (le ratio exact dépend du tokenizer et du texte). On peut ainsi donner un contrat-cadre complet, l’intégralité d’un guide procédure, ou plusieurs années d’historique d’un client en une seule requête, à condition de rester sous la fenêtre du modèle.
Coût d’une grosse fenêtre
Plus vous remplissez, plus vous payez en input. Exemple Claude Sonnet 5.5 (2 $ / 1M tokens en input, tarif public lu le 24/10/2026 sur claude.com/pricing) :
- 10 k tokens injectés (environ 6 000 mots) → 10 000 ÷ 1 000 000 × 2 $ = 0,02 $.
- 200 k tokens (environ 120 000 mots) → 0,40 $.
- 1 M tokens (environ 600 000 mots) → 2,00 $ par requête.
Sur 1 000 requêtes/jour à 1M tokens, c’est 2 000 $/jour (1 000 × 2 $). D’où l’intérêt du RAG : injecter seulement quelques passages pertinents, pas le corpus entier.
Quand utiliser une grosse fenêtre
- Analyse d’un long document one-shot (audit d’un contrat, synthèse d’un rapport annuel).
- Q&A sur un dossier client complet (tickets, mails, contrats).
- Tâches qui nécessitent de comprendre un contexte global, pas des fragments.
Quand préférer un RAG : recherche fréquente sur un grand corpus stable. Le coût par requête est généralement plus bas et la réponse plus rapide, car on injecte moins de tokens.
Pour aller plus loin
- Token — définition — l’unité de mesure de la fenêtre.
- RAG — définition — l’alternative à charger tout le contexte.
- LLM — définition — les modèles et leurs fenêtres.