01 / Objectifs et contraintes
Optimiser le coût d’inférence et le temps de réponse.
Ariath est un assistant IA sur iOS et le web, capable de conserver le contexte d’une conversation et d’utiliser des outils. Son développement pose deux contraintes liées : maîtriser le coût des appels aux modèles et réduire le délai avant le début d’une réponse. La qualité des réponses en français reste une condition de sélection du modèle.
Ma première approche reposait essentiellement sur le prix des tokens d’entrée et de sortie. J’avais retenu un modèle chinois peu coûteux, tout en faisant évoluer rapidement les fonctionnalités, les outils et le contexte transmis à l’agent. La stabilité des requêtes n’était pas encore un objectif explicite de l’architecture.
Les limites rencontrées sur les modèles et fournisseurs testés concernaient à la fois la qualité du français et la variabilité de la latence. La réactivité que j’observais dans ChatGPT renforçait l’objectif d’une réponse plus immédiate, sans constituer une comparaison à conditions équivalentes. Le travail s’est alors déplacé vers la construction du contexte et sa réutilisation entre appels.
02 / Stack et observabilité
LangGraph pour l’exécution, Langfuse pour le diagnostic.
Ariath utilise LangGraph pour orchestrer l’agent, ses appels au modèle et ses outils. L’état d’exécution est persisté dans PostgreSQL au moyen de checkpoints, afin de reprendre une conversation à partir de son état enregistré. Ces checkpoints appartiennent à l’application ; le cache de préfixe, lui, est géré par le fournisseur d’inférence. Conserver le premier ne garantit donc pas de réutiliser le second. Persistance LangGraph
Langfuse sert à inspecter les exécutions et à comprendre ce qui est effectivement transmis au modèle. Dans ce travail, son rôle dépasse le suivi de métriques agrégées : je l’utilise pour examiner les ruptures de cache, la construction du contexte et l’usage des outils. Observabilité Langfuse
- Rechercher une rupture du préfixe. Comparer le contexte de deux appels successifs pour repérer une information réécrite, un bloc déplacé ou une modification introduite lors de la reprise de l’historique.
- Contrôler le contexte transmis. Vérifier quelles informations entrent dans le prompt, où elles sont insérées et comment elles évoluent entre les tours : historique, footer technique et éléments récupérés en mémoire.
- Inspecter les outils. Vérifier les appels, leurs arguments et leurs résultats, ainsi que le volume du catalogue exposé au modèle. Les définitions d’outils contribuent au contexte d’entrée ; leur évolution doit être examinée avec celle des messages.
- Relier le contexte à l’exécution. Examiner les durées, les erreurs et les compteurs de tokens disponibles pour distinguer un problème de construction du prompt d’une attente pendant un appel au modèle, une recherche RAG ou l’exécution d’un outil.
Une baisse du taux de cache déclenche ainsi une inspection des requêtes, plutôt qu’une attribution immédiate au modèle. Une divergence du préfixe fournit une piste vérifiable ; son absence invite à examiner aussi les conditions de cache et le fournisseur utilisé. Les graphiques de cet article sont calculés depuis l’export OpenRouter, distinctement des traces de diagnostic Langfuse.
03 / Performance d’inférence
Distinguer le TTFT de la durée complète d’une réponse.
Le TTFT mesure le délai avant le premier token. À l’échelle d’un appel, il dépend notamment du transport réseau, de l’attente chez le fournisseur et du traitement initial du prompt, appelé prefill. La génération des tokens suivants constitue une autre phase. Documentation OpenRouter sur la latence
Décomposition simplifiée
Préparation du contexte → envoi de la requête → attente et prefill → premier token → génération de la suite.
Le temps perçu dans l’application inclut aussi ses propres traitements. Un tour d’agent peut enchaîner plusieurs appels au modèle et plusieurs exécutions d’outils.
Le prompt caching agit sur la réutilisation du préfixe pendant le traitement des entrées. Il peut réduire le travail de prefill et donc contribuer à un TTFT plus faible. Il ne garantit pas, à lui seul, un débit de génération supérieur ni une latence stable de bout en bout.
Cette distinction est centrale pour l’optimisation : améliorer le cache ne supprime ni l’attente chez un fournisseur chargé, ni le temps passé à exécuter un outil. Un même taux de cache peut donc coexister avec des temps de réponse très différents.
04 / Modèle de coût
Intégrer les lectures et les écritures du cache.
Le cache de préfixe réutilise le traitement d’une partie initiale du prompt déjà transmise au modèle. Il ne s’agit pas de restituer une réponse enregistrée. La réutilisation exige un préfixe identique, sous réserve des conditions du fournisseur, notamment la taille minimale et la durée de conservation. Documentation Anthropic
La comparaison économique doit distinguer quatre postes : les entrées non cachées, les lectures du cache, les écritures du cache et les tokens de sortie. Les tarifs de lecture et d’écriture sont propres au modèle et au fournisseur ; une écriture peut être facturée plus cher qu’une entrée ordinaire. Documentation OpenRouter sur le cache
Coût d’inférence d’un appel
C = Nentrée × Pentrée + Nlecture × Plecture + Nécriture × Pécriture + Nsortie × Psortie
N désigne un volume de tokens et P son prix unitaire. Les catégories d’entrée doivent être disjointes selon la facturation du fournisseur : un token écrit dans le cache ne doit pas être compté une seconde fois comme entrée ordinaire. Les frais annexes éventuels ne figurent pas dans cette décomposition.
Un faible prix d’entrée ne suffit donc pas à déterminer le coût d’une conversation. Il faut aussi considérer la part réellement réutilisée, la fréquence des écritures et le nombre d’appels nécessaires pour accomplir la tâche. Le taux de cache reste un indicateur technique, distinct du pourcentage d’économie sur la facture.
05 / Construction des requêtes
Conserver un préfixe stable entre les appels.
La première modification apportée à Ariath a consisté à stabiliser le prompt système et la définition des outils. Les éléments réutilisables doivent conserver une représentation cohérente d’un appel à l’autre. Une modification en début de contexte peut empêcher de réutiliser la partie du préfixe située après ce changement.
Cette contrainte concerne le contenu effectivement présenté au modèle : instructions, définitions d’outils et historique. Deux requêtes dont le sens paraît identique peuvent présenter des différences suffisantes pour perdre une possibilité de réutilisation. La stabilité doit être vérifiée après les transformations de l’application, et pas seulement dans le modèle de données stocké.
J’ai introduit un footer technique à la fin des messages utilisateurs pour enrichir le contexte du nouveau tour. Les informations nouvelles sont ajoutées à la suite de la conversation, sans modifier les blocs techniques déjà associés aux tours précédents.
Bleu plein : contenu conservé. Bordure pointillée : contenu ajouté. Schéma logique, sans proportion de tokens ; l’ordre exact des blocs dépend de l’API et l’éligibilité au cache du fournisseur.
Le footer constitue une convention de construction du contexte. Son intérêt dépend du respect de la même règle lors des appels suivants : ne pas régénérer les anciens footers avec les informations du moment.
06 / Persistance et fraîcheur du contexte
Préserver l’historique sans figer les connaissances.
J’ai également revu le stockage et le décodage des conversations pour préserver le contexte lors de leur reprise. La persistance doit permettre de reconstituer les messages déjà transmis sans réécriture implicite de leurs informations techniques.
Dans le développement assisté par LLM, les assistants de code proposaient régulièrement d’actualiser le contexte à l’intérieur de l’historique. Cette approche privilégiait la fraîcheur des informations, mais modifiait le préfixe rejoué. J’ai rendu cette contrainte explicite : l’actualisation du contexte ne doit pas provoquer une mutation silencieuse des échanges précédents.
Dans Ariath, la fraîcheur est traitée par des mécanismes complémentaires :
- Priorité aux informations récentes. Le prompt demande au modèle d’accorder davantage de poids aux informations fraîches lorsque le contexte contient plusieurs états d’une même information.
- Recherche dans la mémoire utilisateur. Des recherches RAG sont effectuées lorsqu’elles sont pertinentes pour retrouver le contexte utile à la demande.
- Compactage du contexte. À partir d’un certain volume, le contexte est compacté pour limiter sa taille.
Le compactage introduit un arbitrage : il modifie le contexte présenté au modèle et peut donc imposer de reconstruire une partie du cache. L’objectif est de conserver un préfixe stable entre ces transitions, tout en maîtrisant le volume total et la pertinence des informations. Maximiser le taux de cache n’est pas une raison suffisante pour accumuler indéfiniment du contexte.
07 / Mesures et résultats
73 % de cache en octobre, avec des pics quotidiens supérieurs à 85 %.
Au début de ce travail, je retenais un ordre de grandeur d’environ 25 % des tokens d’entrée servis depuis le cache dans les conditions favorables. Après les changements, j’observais régulièrement des niveaux autour de 70 à 75 %. L’analyse d’un export OpenRouter permet de préciser ces observations.
Sur le périmètre retenu, le taux pondéré par les tokens passe de 20,6 % en juillet à 73,0 % en octobre. Il s’établit à 67,8 % du 1er au 15 novembre. La série complète montre les variations mensuelles et les deux journées au-dessus de 85 %.
1er octobre 2026
85,4%
629 appels retenus
36 745 694 tokens d’entrée
27 octobre 2026
85,7%
548 appels retenus
10 707 605 tokens d’entrée
Taux quotidien pondéré par les tokens · du 26 avril au 15 novembre 2026. Les points cerclés signalent les jours à 85 % ou plus ; les interruptions correspondent aux jours sans appel retenu. Ces pics journaliers ne sont pas des moyennes mensuelles. Ils sont calculés avec les mêmes filtres et le même rapport de sommes.
Voir les valeurs quotidiennes
| Période 2026 | Taux pondéré | Appels retenus |
|---|---|---|
| 29/04/2026 | 0,0 % | 2 |
| 30/04/2026 | 0,5 % | 2 |
| 05/05/2026 | 0,0 % | 1 |
| 11/05/2026 | 0,0 % | 9 |
| 12/05/2026 | 7,0 % | 181 |
| 13/05/2026 | 17,1 % | 256 |
| 14/05/2026 | 35,8 % | 10 |
| 15/05/2026 | 28,8 % | 70 |
| 16/05/2026 | 38,5 % | 93 |
| 18/05/2026 | 11,8 % | 179 |
| 19/05/2026 | 18,3 % | 294 |
| 20/05/2026 | 18,3 % | 144 |
| 21/05/2026 | 24,1 % | 162 |
| 22/05/2026 | 20,1 % | 39 |
| 23/05/2026 | 6,4 % | 19 |
| 24/05/2026 | 9,1 % | 6 |
| 25/05/2026 | 5,1 % | 94 |
| 26/05/2026 | 36,2 % | 258 |
| 27/05/2026 | 58,8 % | 158 |
| 28/05/2026 | 62,3 % | 378 |
| 29/05/2026 | 64,1 % | 283 |
| 30/05/2026 | 44,1 % | 47 |
| 31/05/2026 | 48,2 % | 129 |
| 01/06/2026 | 46,9 % | 1 341 |
| 02/06/2026 | 77,8 % | 347 |
| 03/06/2026 | 56,5 % | 275 |
| 04/06/2026 | 52,6 % | 113 |
| 05/06/2026 | 28,2 % | 559 |
| 06/06/2026 | 23,3 % | 78 |
| 07/06/2026 | 32,5 % | 225 |
| 08/06/2026 | 25,4 % | 339 |
| 09/06/2026 | 42,9 % | 243 |
| 10/06/2026 | 24,6 % | 118 |
| 11/06/2026 | 40,2 % | 83 |
| 12/06/2026 | 20,8 % | 198 |
| 13/06/2026 | 25,8 % | 140 |
| 14/06/2026 | 16,0 % | 288 |
| 15/06/2026 | 15,6 % | 284 |
| 16/06/2026 | 35,9 % | 368 |
| 17/06/2026 | 13,4 % | 93 |
| 18/06/2026 | 19,7 % | 351 |
| 19/06/2026 | 14,8 % | 342 |
| 20/06/2026 | 36,0 % | 211 |
| 21/06/2026 | 37,6 % | 139 |
| 22/06/2026 | 23,6 % | 113 |
| 23/06/2026 | 23,2 % | 75 |
| 24/06/2026 | 23,8 % | 113 |
| 25/06/2026 | 21,8 % | 181 |
| 26/06/2026 | 27,6 % | 329 |
| 27/06/2026 | 21,2 % | 349 |
| 28/06/2026 | 28,7 % | 398 |
| 29/06/2026 | 23,7 % | 307 |
| 30/06/2026 | 22,9 % | 282 |
| 01/07/2026 | 34,6 % | 156 |
| 02/07/2026 | 27,2 % | 662 |
| 03/07/2026 | 16,2 % | 532 |
| 04/07/2026 | 37,5 % | 229 |
| 05/07/2026 | 18,6 % | 97 |
| 06/07/2026 | 17,8 % | 465 |
| 07/07/2026 | 32,5 % | 213 |
| 08/07/2026 | 16,9 % | 322 |
| 09/07/2026 | 13,6 % | 310 |
| 10/07/2026 | 23,1 % | 296 |
| 11/07/2026 | 12,3 % | 172 |
| 12/07/2026 | 16,6 % | 195 |
| 13/07/2026 | 43,6 % | 196 |
| 14/07/2026 | 5,6 % | 126 |
| 15/07/2026 | 16,4 % | 67 |
| 16/07/2026 | 7,2 % | 211 |
| 17/07/2026 | 6,3 % | 147 |
| 18/07/2026 | 3,9 % | 127 |
| 19/07/2026 | 15,2 % | 93 |
| 20/07/2026 | 15,0 % | 207 |
| 21/07/2026 | 12,9 % | 170 |
| 22/07/2026 | 17,5 % | 130 |
| 23/07/2026 | 11,5 % | 174 |
| 24/07/2026 | 23,7 % | 484 |
| 25/07/2026 | 10,9 % | 142 |
| 26/07/2026 | 7,1 % | 71 |
| 27/07/2026 | 23,7 % | 112 |
| 28/07/2026 | 14,9 % | 161 |
| 29/07/2026 | 15,6 % | 113 |
| 30/07/2026 | 39,6 % | 177 |
| 31/07/2026 | 31,3 % | 241 |
| 01/08/2026 | 32,1 % | 333 |
| 02/08/2026 | 47,5 % | 132 |
| 03/08/2026 | 17,4 % | 203 |
| 04/08/2026 | 38,0 % | 451 |
| 05/08/2026 | 19,3 % | 275 |
| 06/08/2026 | 29,5 % | 322 |
| 07/08/2026 | 36,4 % | 300 |
| 08/08/2026 | 43,5 % | 127 |
| 09/08/2026 | 24,4 % | 106 |
| 10/08/2026 | 29,0 % | 149 |
| 11/08/2026 | 21,7 % | 212 |
| 12/08/2026 | 41,7 % | 619 |
| 13/08/2026 | 41,6 % | 687 |
| 14/08/2026 | 49,3 % | 776 |
| 15/08/2026 | 53,1 % | 736 |
| 16/08/2026 | 49,4 % | 420 |
| 17/08/2026 | 49,6 % | 477 |
| 18/08/2026 | 42,7 % | 579 |
| 19/08/2026 | 44,0 % | 469 |
| 20/08/2026 | 31,9 % | 105 |
| 21/08/2026 | 48,4 % | 136 |
| 22/08/2026 | 41,2 % | 137 |
| 23/08/2026 | 47,9 % | 159 |
| 24/08/2026 | 48,5 % | 332 |
| 25/08/2026 | 48,6 % | 345 |
| 26/08/2026 | 50,1 % | 236 |
| 27/08/2026 | 39,5 % | 270 |
| 28/08/2026 | 53,2 % | 254 |
| 29/08/2026 | 42,3 % | 90 |
| 30/08/2026 | 38,3 % | 219 |
| 31/08/2026 | 38,5 % | 237 |
| 01/09/2026 | 29,9 % | 350 |
| 02/09/2026 | 38,2 % | 757 |
| 03/09/2026 | 45,1 % | 214 |
| 04/09/2026 | 46,0 % | 389 |
| 05/09/2026 | 40,1 % | 199 |
| 06/09/2026 | 53,7 % | 342 |
| 07/09/2026 | 44,8 % | 206 |
| 08/09/2026 | 47,8 % | 281 |
| 09/09/2026 | 53,7 % | 364 |
| 10/09/2026 | 59,5 % | 392 |
| 11/09/2026 | 81,9 % | 326 |
| 12/09/2026 | 64,3 % | 134 |
| 13/09/2026 | 67,2 % | 215 |
| 14/09/2026 | 61,5 % | 259 |
| 15/09/2026 | 65,7 % | 241 |
| 16/09/2026 | 63,0 % | 111 |
| 17/09/2026 | 64,6 % | 204 |
| 18/09/2026 | 70,5 % | 390 |
| 19/09/2026 | 54,7 % | 119 |
| 20/09/2026 | 56,6 % | 134 |
| 21/09/2026 | 62,8 % | 544 |
| 22/09/2026 | 63,8 % | 626 |
| 23/09/2026 | 68,4 % | 520 |
| 24/09/2026 | 69,3 % | 313 |
| 25/09/2026 | 60,6 % | 313 |
| 26/09/2026 | 69,3 % | 567 |
| 27/09/2026 | 53,0 % | 158 |
| 28/09/2026 | 55,8 % | 171 |
| 29/09/2026 | 69,4 % | 602 |
| 30/09/2026 | 72,5 % | 642 |
| 01/10/2026 | 85,4 % | 629 |
| 02/10/2026 | 74,8 % | 639 |
| 03/10/2026 | 68,1 % | 494 |
| 04/10/2026 | 63,4 % | 305 |
| 05/10/2026 | 68,2 % | 414 |
| 06/10/2026 | 70,3 % | 493 |
| 07/10/2026 | 73,6 % | 429 |
| 08/10/2026 | 51,1 % | 494 |
| 09/10/2026 | 77,0 % | 436 |
| 10/10/2026 | 74,8 % | 242 |
| 11/10/2026 | 62,0 % | 346 |
| 12/10/2026 | 40,8 % | 2 625 |
| 13/10/2026 | 62,5 % | 496 |
| 14/10/2026 | 75,5 % | 290 |
| 15/10/2026 | 85,0 % | 359 |
| 16/10/2026 | 81,0 % | 558 |
| 17/10/2026 | 67,9 % | 193 |
| 18/10/2026 | 67,9 % | 191 |
| 19/10/2026 | 80,1 % | 405 |
| 20/10/2026 | 70,0 % | 276 |
| 21/10/2026 | 77,4 % | 130 |
| 22/10/2026 | 77,2 % | 171 |
| 23/10/2026 | 80,1 % | 360 |
| 24/10/2026 | 61,9 % | 94 |
| 25/10/2026 | 65,6 % | 88 |
| 26/10/2026 | 74,5 % | 257 |
| 27/10/2026 | 85,7 % | 548 |
| 28/10/2026 | 83,9 % | 651 |
| 29/10/2026 | 74,8 % | 245 |
| 30/10/2026 | 75,6 % | 432 |
| 31/10/2026 | 58,3 % | 237 |
| 01/11/2026 | 69,7 % | 844 |
| 02/11/2026 | 69,8 % | 667 |
| 03/11/2026 | 65,7 % | 150 |
| 04/11/2026 | 63,0 % | 370 |
| 05/11/2026 | 61,0 % | 542 |
| 06/11/2026 | 63,6 % | 600 |
| 07/11/2026 | 62,4 % | 313 |
| 08/11/2026 | 51,2 % | 204 |
| 09/11/2026 | 72,6 % | 852 |
| 10/11/2026 | 72,7 % | 453 |
| 11/11/2026 | 65,1 % | 175 |
| 12/11/2026 | 58,3 % | 582 |
| 13/11/2026 | 70,2 % | 448 |
| 14/11/2026 | 82,7 % | 272 |
| 15/11/2026 | 77,1 % | 334 |
| Période 2026 | Taux pondéré | Appels retenus | TTFT médian (s) |
|---|---|---|---|
| 26–30 avril | 0,2 % | 4 | 6,52 |
| Mai | 38,3 % | 2 810 | 1,20 |
| Juin | 37,4 % | 8 282 | 1,58 |
| Juillet | 20,6 % | 6 798 | 2,19 |
| Août | 42,1 % | 9 893 | 1,77 |
| Septembre | 60,1 % | 10 083 | 1,55 |
| Octobre | 73,0 % | 13 527 | 1,66 |
| 1–15 novembre | 67,8 % | 6 806 | 1,90 |
Méthode et périmètre
Export OpenRouter du 15 novembre 2026 : 82 970 lignes, dont 58 203 appels retenus sur les clés Prisma et Mentat. OpenClaw, le chat OpenRouter, les embeddings, les appels annulés ou en erreur, les entrées nulles et les compteurs de cache absents sont exclus. Les périodes suivent les dates de l’export, sans fuseau horaire indiqué.
Taux = somme des tokens lus depuis le cache ÷ somme des tokens d’entrée. Les appels à zéro token caché restent inclus ; un compteur absent n’est pas assimilé à zéro.
La progression du cache ne se traduit pas mécaniquement par une diminution continue du TTFT. Dans cet export, le TTFT médian par appel est de 2,19 s en juillet, 1,55 s en septembre, 1,66 s en octobre et 1,90 s sur la première moitié de novembre. Le taux de cache et la latence décrivent deux dimensions différentes du système.
Ces résultats sont observationnels. Les modèles, fournisseurs, volumes de contexte et usages évoluent sur la période ; l’export ne permet pas d’isoler l’effet causal de chaque modification. Le TTFT rapporté concerne les appels enregistrés par OpenRouter, pas la latence complète mesurée dans l’interface d’Ariath. Aucun pourcentage de réduction des coûts ou du temps de réponse n’est déduit du taux de cache.
08 / Enseignements d’architecture
Mesurer séparément la réutilisation, le coût et la latence.
Cette optimisation a porté sur la chaîne complète de construction du contexte : prompt système, définition des outils, enrichissement des messages, stockage et reprise des conversations. Le cache est devenu une contrainte de conception explicite, avec des transitions assumées lorsque le contexte doit être compacté.
Pour attribuer précisément les gains, l’étape de validation consiste à comparer des requêtes représentatives à modèle, fournisseur et paramètres constants, avec un cache froid puis réutilisé. Les mesures à rapprocher sont le volume de tokens lus et écrits, le coût facturé, les distributions de TTFT — notamment médiane et p90 — et la latence complète d’une exécution de l’agent.
La décision technique doit conserver les trois objectifs ensemble : limiter le coût par tâche, améliorer la réactivité et préserver la qualité de la réponse. Un meilleur taux de cache est utile lorsqu’il contribue à cet équilibre.
Cette étude se prolonge par une analyse du chemin complet de la requête, des appels frontend à la préparation backend et au premier token visible. Réduire la latence entre l’utilisateur et le modèle
