Token
Unité de traitement d'un LLM — approximativement 0.75 mot en anglais. La tarification des APIs LLM est calculée en tokens input et output.
Définition
Un token est l'unité atomique de traitement d'un LLM. Les modèles ne lisent pas des mots ou des caractères — ils lisent des tokens, qui sont des séquences de caractères définies par un tokenizer spécifique à chaque famille de modèles. En règle générale : 1 token ≈ 0.75 mot en anglais, légèrement moins en français (le français est plus verbeux), et le code source est généralement moins dense en tokens que du texte naturel (les espaces, accolades et mots-clés comptent). Toute la tarification des APIs LLM est exprimée en tokens : X dollars par million de tokens en input (ce qu'on envoie), Y dollars par million de tokens en output (ce que le modèle génère).
Point de vue postcursors
Le token est la variable de coût à maîtriser dans un workflow agentique. Une session où on charge 10 fichiers PHP de 300 lignes consomme ~30k tokens rien qu'en input avant que l'agent réponde quoi que ce soit. Multiplié par le prix de Sonnet 4.5 ($3/M input), ça fait ~$0.09 par session. Avec 50 sessions par jour sur une équipe de 5 devs, on parle de ~$225/mois juste en input. Comprendre la mécanique des tokens aide à faire des choix de modèle et d'organisation qui ont un impact réel sur les coûts.
En pratique
Outil utile : le tokenizer d'OpenAI est open-source et visualise comment un texte est découpé (tiktoken). Pour estimer le coût d'une session : coller le contenu des fichiers à charger dans le tokenizer, multiplier par le prix input du modèle choisi. La réponse de l'agent sera généralement 2-5x plus courte que le contexte, donc l'output coûte moins cher que l'input.
Confusions fréquentes
- ✗ Confondre tokens et mots — la conversion varie selon la langue et le contenu
- ✗ Ignorer les tokens d'input dans les estimations de coût — ils représentent souvent 80-90% du coût d'une session de coding