Limites et points critiques
- Lost-in-the-middle : les LLM long-context dégradent leur précision sur les tokens du milieu (étude Liu et al. 2024) — limite pratique ~500k tokens utiles, pas 1M ni 2M.
- Cache miss imprévisible : si le cache expire (durée de vie limitée du cache), la requête suivante repaie le prix plein — pic budgétaire.
- Mise à jour de la base = recharger tout, vs RAG qui ne re-vectorise que le delta. Pénalisant si la base bouge >1×/semaine.
- Pas tous les modèles supportent le cache : les mécanismes de cache diffèrent selon les fournisseurs, à vérifier dans leur documentation avant de choisir — cela verrouille le choix de fournisseur.
- Coût de cache miss en première requête : remplir 200k tokens coûte 0,60 $ au tarif d'entrée de Sonnet 4.5 avant tout cache hit (notre calcul : 0,2 M de tokens × 3 $ par million, tarif public lu le 24/10/2026 sur claude.com/pricing).
Évolution probable (12-24 mois)
- Fenêtres de contexte de plus en plus grandes — élargiraient le sweet spot CAG vs RAG.
- Cache cross-session persistants (Anthropic Memory, OpenAI Stateful API) qui pourraient réduire le coût du CAG au-delà de la première requête.
- Hybrid CAG+RAG : charger les FAQ figées en CAG, rechercher dynamiquement dans les données mouvantes en RAG — pattern qui émerge en 2026.
- Amélioration des modèles sur le 'middle-of-context' (Claude Opus 4.5 thinking, Gemini 2.5 Pro Deep Think) qui supprime progressivement la pénalité lost-in-the-middle.
Questions fréquentes
Qu'est-ce que le CAG (Cache-Augmented Generation) ?+
Le CAG est une architecture IA où l'on charge l'intégralité d'une base de connaissances dans le contexte d'un LLM long-context une seule fois, puis on utilise le cache KV (key-value) côté inférence pour répondre aux requêtes suivantes sans recalculer. Le terme a été formalisé par les chercheurs de la National Chengchi University début 2025 (Chan et al.) comme alternative au RAG pour les bases figées et de taille modérée. C'est devenu opérationnellement viable avec l'arrivée de modèles à très grande fenêtre de contexte.
À quoi sert le CAG par rapport au RAG ?+
Le CAG sert à simplifier drastiquement le pipeline IA quand la base de connaissances tient dans une fenêtre de contexte. Plus de chunking, plus de vector database à maintenir, plus de rerank à calibrer. Cas types : documentation produit complète d'une PME (50k tokens), manuel d'utilisation interne, catalogue stable, FAQ entreprise. Le délai de mise en production dépend surtout de la qualité des données et de l'évaluation, plus que du chargement du contexte.
Quelle différence entre CAG, RAG et prompt caching ?+
Le RAG sélectionne dynamiquement les 5-10 passages pertinents avant chaque requête (chunking + embedding + retrieval + rerank). Le CAG charge tout d'un coup. Le prompt caching est la brique technique qui rend le CAG viable économiquement : Anthropic et Gemini cachent les tokens du prompt système pour une durée limitée et facturent la lecture du cache moins cher que l'entrée normale (chez Anthropic, 0,30 $ contre 3 $ par million de tokens pour Sonnet 4.5, notre calcul à partir du tarif public lu le 24/10/2026 sur claude.com/pricing). CAG = stratégie d'architecture, prompt caching = mécanisme d'inférence qui la rend rentable.
Comment implémenter un CAG en pratique ?+
Stack 2026 : (1) concaténer toute la base en un seul prompt système (selon la taille de la base), (2) marquer comme cacheable avec `cache_control` chez Anthropic ou `cached_content` chez Gemini, (3) appeler le LLM avec la question utilisateur. Coût initial : 1× le prix d'entrée total (Sonnet 4.5 : 3 $ par million de tokens). Coût suivant : lecture du cache à 0,30 $ par million tant que le cache est chaud (tarif public lu le 24/10/2026 sur claude.com/pricing). Notre calcul pour 1000 requêtes/jour sur 100k tokens : 100 M de tokens par jour, soit 300 $/jour sans cache (100 × 3 $) et environ 30 $/jour en lecture de cache (100 × 0,30 $), hors écriture du cache.
Combien coûte un CAG vs un RAG ?+
Le coût dépend de la taille de la base, de la fréquence de mise à jour et du volume de requêtes. Le CAG évite chunking, embeddings, vector DB et rerank : moins de composants à construire et à maintenir. En contrepartie, chaque requête relit un contexte long, au tarif de lecture du cache s'il est encore chaud. Le RAG devient plus économique quand la base dépasse la fenêtre de contexte utile ou change souvent (re-vectorisation incrémentale).
Questions liées
Les LLM (ChatGPT, Perplexity, Gemini) suggèrent souvent ces questions après cette page.
- CAG ou RAG : comment choisir pour mon cas d'usage ?
- Comment fonctionne le prompt caching chez Anthropic ?
- Quels modèles LLM supportent le context caching en 2026 ?
- Qu'est-ce que le 'lost-in-the-middle' ?
- Combien coûte un CAG pour 100k tokens de base ?
Le CAG (Cache-Augmented Generation) consiste à charger toute la base de connaissances directement dans le contexte du LLM — pas de retrieval — et à mettre en cache les KV (key-value) côté inférence pour éviter de recalculer à chaque requête. C’est devenu envisageable depuis les modèles à 1M tokens de contexte (Gemini 1.5+, GPT-4.1, Claude 4).
En pratique
Cas typique : la documentation produit complète d’une PME (50k tokens) tient dans le contexte d’un Gemini 2.5. Au lieu d’un RAG :
- On charge toute la doc une fois.
- Le KV cache du modèle est persisté (Anthropic prompt caching, Gemini context caching).
- Chaque requête utilisateur paie le tarif de lecture du cache, inférieur au tarif d’entrée normal.
Pas de chunking, pas de vector DB, pas de rerank — pipeline simplifié à l’extrême.
CAG vs RAG
| Critère | CAG | RAG |
|---|---|---|
| Volume max | ~500k tokens utiles (lost-in-the-middle) | illimité |
| Coût marginal/requête | bas (cache) | bas (retrieval) |
| Coût initial | élevé (charge complète) | bas |
| Mise à jour | recharger tout | re-vectoriser le delta |
| Précision sur petit volume | excellente | bonne |
Pourquoi c’est important pour votre projet IA
- Sweet spot CAG : base figée < 200k tokens (FAQ produit, catalogue stable, manuel interne).
- RAG reste indispensable pour les bases mouvantes ou volumineuses (> 500k tokens).
- Souvent : prototype CAG pour valider le besoin, puis RAG si volume explose.