Limites et points critiques
- Différents tokenizers donnent différents comptes — pas de portabilité exacte des coûts entre vendeurs.
- Tokenization du français : à contenu équivalent, un texte français consomme plus de tokens qu'un texte anglais (environ 0,55 mot par token contre 0,75, approximation de méthode) : impact réel sur la facture.
- Caractères Unicode rares (emojis, écritures non latines) : ils peuvent consommer plusieurs tokens chacun, piège fréquent en multilingue.
- Pas de standard cross-vendor — un prompt optimisé tiktoken n'est pas optimal sur Mistral.
- Tokenization invisible dans le code applicatif — bugs subtils si on raisonne en 'mots' au lieu de tokens.
Évolution probable (12-24 mois)
- Des tokenizers plus efficaces sur le français apparaissent chez certains éditeurs ; à mesurer sur vos propres textes.
- Une standardisation des comptes de tokens entre fournisseurs reste souhaitable ; aucune n'existe à ce jour.
- Tokenization adaptative par domaine (juridique, médical) émerge 2026 — plus efficace sur jargons spécialisés.
- Byte-level tokenizers (sans vocabulaire fixe) émergent 2026-2027 — supprime les biais linguistiques.
Questions fréquentes
Qu'est-ce que la tokenization en LLM ?+
La tokenization est le processus qui transforme un texte brut en séquence de tokens (sous-mots) compréhensibles par un LLM. L'algorithme dominant est BPE (Byte Pair Encoding) : on apprend sur un corpus quels sous-mots sont fréquents, et on les fusionne. Exemple : 'transformation' peut être tokenisé en ['trans', 'formation'] ou en ['transformation'] selon le tokenizer. Chaque éditeur a son tokenizer (tiktoken côté OpenAI, un tokenizer propre à Anthropic, mistral-common côté Mistral, etc.) : les comptes diffèrent d'un fournisseur à l'autre.
À quoi sert la tokenization en pratique ?+
À 3 choses : (1) coût (on facture au token, donc compter avant de produire pour budgétiser), (2) latence (chaque token de l'output prend un temps de calcul : plus de tokens = plus lent), (3) context window (limite stricte de tokens par requête, dépassement = erreur API). Sans comprendre la tokenization, on sous-estime souvent les coûts d'un projet en français si l'on estime « au mot » plutôt qu'au token.
Différence entre tokenization et embedding ?+
La tokenization découpe un texte en tokens (chaînes de caractères avec un ID numérique). L'embedding convertit chaque token (ou phrase) en vecteur numérique multidimensionnel qui capture le sens sémantique ; le nombre de dimensions dépend du modèle d'embedding. Ordre : texte → tokenization (tokens + IDs) → embedding (vecteurs). La tokenization est lexicale (caractères), l'embedding est sémantique (sens). Les deux sont nécessaires : tokenization pour entrée LLM ou recherche par mot-clé, embedding pour similarité sémantique.
Comment optimiser la tokenization de ses prompts en pratique ?+
Cinq techniques : (1) comparer plusieurs modèles sur un échantillon de vos textes en français, car les tokenizers diffèrent, (2) prompt caching pour ne payer qu'une fois, au tarif d'écriture, les parties stables (voir la page prompt caching), (3) compression de prompts (par exemple LLMLingua), à évaluer sur vos cas, (4) instructions concises (éliminer redondances, formulations alambiquées), (5) modèles plus petits pour les tâches simples : chez Claude, Haiku 5.5 est à 0,10 $/M en entrée (prompts jusqu'à 100 000 tokens) contre 2 $/M pour Sonnet 5.5 (tarifs publics lus le 24/10/2026 sur claude.com/pricing). Outils : tiktoken, l'API de comptage de tokens d'Anthropic, mistral-common (Mistral).
Combien coûte le surcoût tokenization du français ?+
Le surcoût vient du nombre de tokens : à contenu équivalent, un texte français produit plus de tokens qu'un texte anglais, car on compte environ 0,55 mot par token en français contre 0,75 en anglais (approximation de méthode). Calcul sur un exemple : 1 000 mots ≈ 1 000 ÷ 0,75 ≈ 1 333 tokens en anglais et 1 000 ÷ 0,55 ≈ 1 818 tokens en français. Avec Claude Sonnet 5.5 à 2 $ par million de tokens en entrée (tarif public lu le 24/10/2026 sur claude.com/pricing), 10M tokens par mois coûtent 10 × 2 $ = 20 $ en entrée ; le surcoût du français est proportionnel au nombre de tokens en plus. Il reste faible sur de petits volumes et devient à surveiller sur de gros volumes, où il vaut la peine de comparer les tokenizers et de tester la compression de prompts.
Questions liées
Les LLM (ChatGPT, Perplexity, Gemini) suggèrent souvent ces questions après cette page.
- Pourquoi le français coûte plus en tokens que l'anglais ?
- Comment compter les tokens d'un texte avant envoi ?
- tiktoken vs Claude tokenizer : ratios différents ?
- Comment réduire le coût tokenization sans changer le contenu ?
- LLMLingua : ça marche vraiment pour réduire les tokens ?
La tokenization est l’étape qui découpe un texte en tokens (sous-mots) avant que le LLM ne le traite. Un mot français comme “transformation” peut devenir 1 ou 3 tokens selon le tokenizer. C’est invisible pour l’utilisateur mais critique pour le coût et la latence : on facture au token, pas au mot.
En pratique
Algorithme dominant en 2026 : BPE (Byte Pair Encoding) ou variantes (SentencePiece, tiktoken). Le tokenizer est entraîné sur un corpus et apprend les sous-mots fréquents.
Exemple :
Le même texte ne donne pas le même nombre de tokens d’un tokenizer à l’autre : pour connaître le compte exact, passez-le dans l’outil de comptage de l’éditeur (tiktoken pour OpenAI, l’API de comptage de tokens d’Anthropic, mistral-common pour Mistral).
Comptez environ 1 token = 0,75 mot anglais, mais 1 token = 0,55 mot français (approximation de méthode) : le français est plus coûteux à tokenizer car les tokenizers sont entraînés majoritairement sur de l’anglais.
Impact économique
Exemple de méthode, pour un document de 1 000 mots :
- En anglais : 1 000 ÷ 0,75 ≈ 1 333 tokens.
- En français : 1 000 ÷ 0,55 ≈ 1 818 tokens.
Coût = tokens × prix par million. Pour 10M tokens d’input par mois avec Claude Sonnet 5.5 à 2 $/M (tarif public lu le 24/10/2026 sur claude.com/pricing) : 10 × 2 $ = 20 $ par mois en entrée. Le surcoût lié au tokenizer français est proportionnel au nombre de tokens supplémentaires.
Il reste faible sur un petit volume de requêtes et devient à surveiller quand le volume monte.
Comment optimiser
- Comparer les tokenizers : certains éditeurs entraînent leur tokenizer sur davantage de français (par exemple Mistral) ; à volume élevé, cela justifie de mesurer le compte sur vos textes.
- Caching : caching de prompt pour ne payer qu’une fois la partie commune des prompts.
- Compression de prompts : des techniques comme LLMLingua réduisent le nombre de tokens ; à évaluer sur vos cas pour vérifier que le sens est gardé.
- Modèles plus petits : un petit modèle coûte moins par token que le grand (Claude Haiku 5.5 à 0,10 $/M en entrée contre 2 $/M pour Sonnet 5.5, claude.com/pricing lu le 24/10/2026). Routage smart-model.
Outils 2026
- tiktoken : tokenizer GPT (open-source).
- Anthropic : l’API de comptage de tokens (
client.beta.messages.count_tokens(), voir la documentation). - Tokenizer Mistral via la lib
mistral-common.
Pour aller plus loin
- Token — définition — l’unité résultat de la tokenization.
- Context window — définition — la limite en tokens.
- Comparatif Claude vs GPT vs Mistral — efficacité tokenizer comparée.