Gautier Billard
← Études de cas IA

Étude de cas 01 / Ariath / Ingénierie des agents

Prompt caching : optimiser les coûts et la latence des agents IA.

Stabilité du préfixe, persistance des conversations et fraîcheur du contexte : retour technique sur l’optimisation des coûts d’inférence et du temps au premier token dans Ariath.

01 / Objectifs et contraintes

Optimiser le coût d’inférence et le temps de réponse.

Ariath est un assistant IA sur iOS et le web, capable de conserver le contexte d’une conversation et d’utiliser des outils. Son développement pose deux contraintes liées : maîtriser le coût des appels aux modèles et réduire le délai avant le début d’une réponse. La qualité des réponses en français reste une condition de sélection du modèle.

Ma première approche reposait essentiellement sur le prix des tokens d’entrée et de sortie. J’avais retenu un modèle chinois peu coûteux, tout en faisant évoluer rapidement les fonctionnalités, les outils et le contexte transmis à l’agent. La stabilité des requêtes n’était pas encore un objectif explicite de l’architecture.

Les limites rencontrées sur les modèles et fournisseurs testés concernaient à la fois la qualité du français et la variabilité de la latence. La réactivité que j’observais dans ChatGPT renforçait l’objectif d’une réponse plus immédiate, sans constituer une comparaison à conditions équivalentes. Le travail s’est alors déplacé vers la construction du contexte et sa réutilisation entre appels.

02 / Stack et observabilité

LangGraph pour l’exécution, Langfuse pour le diagnostic.

Ariath utilise LangGraph pour orchestrer l’agent, ses appels au modèle et ses outils. L’état d’exécution est persisté dans PostgreSQL au moyen de checkpoints, afin de reprendre une conversation à partir de son état enregistré. Ces checkpoints appartiennent à l’application ; le cache de préfixe, lui, est géré par le fournisseur d’inférence. Conserver le premier ne garantit donc pas de réutiliser le second. Persistance LangGraph

Langfuse sert à inspecter les exécutions et à comprendre ce qui est effectivement transmis au modèle. Dans ce travail, son rôle dépasse le suivi de métriques agrégées : je l’utilise pour examiner les ruptures de cache, la construction du contexte et l’usage des outils. Observabilité Langfuse

  • Rechercher une rupture du préfixe. Comparer le contexte de deux appels successifs pour repérer une information réécrite, un bloc déplacé ou une modification introduite lors de la reprise de l’historique.
  • Contrôler le contexte transmis. Vérifier quelles informations entrent dans le prompt, où elles sont insérées et comment elles évoluent entre les tours : historique, footer technique et éléments récupérés en mémoire.
  • Inspecter les outils. Vérifier les appels, leurs arguments et leurs résultats, ainsi que le volume du catalogue exposé au modèle. Les définitions d’outils contribuent au contexte d’entrée ; leur évolution doit être examinée avec celle des messages.
  • Relier le contexte à l’exécution. Examiner les durées, les erreurs et les compteurs de tokens disponibles pour distinguer un problème de construction du prompt d’une attente pendant un appel au modèle, une recherche RAG ou l’exécution d’un outil.

Une baisse du taux de cache déclenche ainsi une inspection des requêtes, plutôt qu’une attribution immédiate au modèle. Une divergence du préfixe fournit une piste vérifiable ; son absence invite à examiner aussi les conditions de cache et le fournisseur utilisé. Les graphiques de cet article sont calculés depuis l’export OpenRouter, distinctement des traces de diagnostic Langfuse.

03 / Performance d’inférence

Distinguer le TTFT de la durée complète d’une réponse.

Le TTFT mesure le délai avant le premier token. À l’échelle d’un appel, il dépend notamment du transport réseau, de l’attente chez le fournisseur et du traitement initial du prompt, appelé prefill. La génération des tokens suivants constitue une autre phase. Documentation OpenRouter sur la latence

Décomposition simplifiée

Préparation du contexte → envoi de la requête → attente et prefill → premier token → génération de la suite.

Le temps perçu dans l’application inclut aussi ses propres traitements. Un tour d’agent peut enchaîner plusieurs appels au modèle et plusieurs exécutions d’outils.

Le prompt caching agit sur la réutilisation du préfixe pendant le traitement des entrées. Il peut réduire le travail de prefill et donc contribuer à un TTFT plus faible. Il ne garantit pas, à lui seul, un débit de génération supérieur ni une latence stable de bout en bout.

Cette distinction est centrale pour l’optimisation : améliorer le cache ne supprime ni l’attente chez un fournisseur chargé, ni le temps passé à exécuter un outil. Un même taux de cache peut donc coexister avec des temps de réponse très différents.

04 / Modèle de coût

Intégrer les lectures et les écritures du cache.

Le cache de préfixe réutilise le traitement d’une partie initiale du prompt déjà transmise au modèle. Il ne s’agit pas de restituer une réponse enregistrée. La réutilisation exige un préfixe identique, sous réserve des conditions du fournisseur, notamment la taille minimale et la durée de conservation. Documentation Anthropic

La comparaison économique doit distinguer quatre postes : les entrées non cachées, les lectures du cache, les écritures du cache et les tokens de sortie. Les tarifs de lecture et d’écriture sont propres au modèle et au fournisseur ; une écriture peut être facturée plus cher qu’une entrée ordinaire. Documentation OpenRouter sur le cache

Coût d’inférence d’un appel

C = Nentrée × Pentrée + Nlecture × Plecture + Nécriture × Pécriture + Nsortie × Psortie

N désigne un volume de tokens et P son prix unitaire. Les catégories d’entrée doivent être disjointes selon la facturation du fournisseur : un token écrit dans le cache ne doit pas être compté une seconde fois comme entrée ordinaire. Les frais annexes éventuels ne figurent pas dans cette décomposition.

Un faible prix d’entrée ne suffit donc pas à déterminer le coût d’une conversation. Il faut aussi considérer la part réellement réutilisée, la fréquence des écritures et le nombre d’appels nécessaires pour accomplir la tâche. Le taux de cache reste un indicateur technique, distinct du pourcentage d’économie sur la facture.

05 / Construction des requêtes

Conserver un préfixe stable entre les appels.

La première modification apportée à Ariath a consisté à stabiliser le prompt système et la définition des outils. Les éléments réutilisables doivent conserver une représentation cohérente d’un appel à l’autre. Une modification en début de contexte peut empêcher de réutiliser la partie du préfixe située après ce changement.

Cette contrainte concerne le contenu effectivement présenté au modèle : instructions, définitions d’outils et historique. Deux requêtes dont le sens paraît identique peuvent présenter des différences suffisantes pour perdre une possibilité de réutilisation. La stabilité doit être vérifiée après les transformations de l’application, et pas seulement dans le modèle de données stocké.

J’ai introduit un footer technique à la fin des messages utilisateurs pour enrichir le contexte du nouveau tour. Les informations nouvelles sont ajoutées à la suite de la conversation, sans modifier les blocs techniques déjà associés aux tours précédents.

Organisation du contexte entre deux appels
Appel N
Instructions et outils stables
Historique déjà envoyé
Nouveau tour + contexte
Appel N+1
Même début de conversation
Tour N conservé à l’identique
Suite + nouveau contexte

Bleu plein : contenu conservé. Bordure pointillée : contenu ajouté. Schéma logique, sans proportion de tokens ; l’ordre exact des blocs dépend de l’API et l’éligibilité au cache du fournisseur.

Le footer constitue une convention de construction du contexte. Son intérêt dépend du respect de la même règle lors des appels suivants : ne pas régénérer les anciens footers avec les informations du moment.

06 / Persistance et fraîcheur du contexte

Préserver l’historique sans figer les connaissances.

J’ai également revu le stockage et le décodage des conversations pour préserver le contexte lors de leur reprise. La persistance doit permettre de reconstituer les messages déjà transmis sans réécriture implicite de leurs informations techniques.

Dans le développement assisté par LLM, les assistants de code proposaient régulièrement d’actualiser le contexte à l’intérieur de l’historique. Cette approche privilégiait la fraîcheur des informations, mais modifiait le préfixe rejoué. J’ai rendu cette contrainte explicite : l’actualisation du contexte ne doit pas provoquer une mutation silencieuse des échanges précédents.

Dans Ariath, la fraîcheur est traitée par des mécanismes complémentaires :

  • Priorité aux informations récentes. Le prompt demande au modèle d’accorder davantage de poids aux informations fraîches lorsque le contexte contient plusieurs états d’une même information.
  • Recherche dans la mémoire utilisateur. Des recherches RAG sont effectuées lorsqu’elles sont pertinentes pour retrouver le contexte utile à la demande.
  • Compactage du contexte. À partir d’un certain volume, le contexte est compacté pour limiter sa taille.

Le compactage introduit un arbitrage : il modifie le contexte présenté au modèle et peut donc imposer de reconstruire une partie du cache. L’objectif est de conserver un préfixe stable entre ces transitions, tout en maîtrisant le volume total et la pertinence des informations. Maximiser le taux de cache n’est pas une raison suffisante pour accumuler indéfiniment du contexte.

07 / Mesures et résultats

73 % de cache en octobre, avec des pics quotidiens supérieurs à 85 %.

Au début de ce travail, je retenais un ordre de grandeur d’environ 25 % des tokens d’entrée servis depuis le cache dans les conditions favorables. Après les changements, j’observais régulièrement des niveaux autour de 70 à 75 %. L’analyse d’un export OpenRouter permet de préciser ces observations.

Sur le périmètre retenu, le taux pondéré par les tokens passe de 20,6 % en juillet à 73,0 % en octobre. Il s’établit à 67,8 % du 1er au 15 novembre. La série complète montre les variations mensuelles et les deux journées au-dessus de 85 %.

Deux journées au-dessus de 85 %

1er octobre 2026

85,4%

629 appels retenus
36 745 694 tokens d’entrée

27 octobre 2026

85,7%

548 appels retenus
10 707 605 tokens d’entrée

100 %85 %0 % Part des tokens d’entrée servis depuis le cacheTaux quotidien pondéré par les tokens · du 26 avril au 15 novembre 2026. Les points cerclés signalent les jours à 85 % ou plus ; les interruptions correspondent aux jours sans appel retenu.1er octobre 2026: 85,4 %27 octobre 2026: 85,7 %

Taux quotidien pondéré par les tokens · du 26 avril au 15 novembre 2026. Les points cerclés signalent les jours à 85 % ou plus ; les interruptions correspondent aux jours sans appel retenu. Ces pics journaliers ne sont pas des moyennes mensuelles. Ils sont calculés avec les mêmes filtres et le même rapport de sommes.

Voir les valeurs quotidiennes
Part des tokens d’entrée servis depuis le cache
Période 2026Taux pondéréAppels retenus
29/04/20260,0 %2
30/04/20260,5 %2
05/05/20260,0 %1
11/05/20260,0 %9
12/05/20267,0 %181
13/05/202617,1 %256
14/05/202635,8 %10
15/05/202628,8 %70
16/05/202638,5 %93
18/05/202611,8 %179
19/05/202618,3 %294
20/05/202618,3 %144
21/05/202624,1 %162
22/05/202620,1 %39
23/05/20266,4 %19
24/05/20269,1 %6
25/05/20265,1 %94
26/05/202636,2 %258
27/05/202658,8 %158
28/05/202662,3 %378
29/05/202664,1 %283
30/05/202644,1 %47
31/05/202648,2 %129
01/06/202646,9 %1 341
02/06/202677,8 %347
03/06/202656,5 %275
04/06/202652,6 %113
05/06/202628,2 %559
06/06/202623,3 %78
07/06/202632,5 %225
08/06/202625,4 %339
09/06/202642,9 %243
10/06/202624,6 %118
11/06/202640,2 %83
12/06/202620,8 %198
13/06/202625,8 %140
14/06/202616,0 %288
15/06/202615,6 %284
16/06/202635,9 %368
17/06/202613,4 %93
18/06/202619,7 %351
19/06/202614,8 %342
20/06/202636,0 %211
21/06/202637,6 %139
22/06/202623,6 %113
23/06/202623,2 %75
24/06/202623,8 %113
25/06/202621,8 %181
26/06/202627,6 %329
27/06/202621,2 %349
28/06/202628,7 %398
29/06/202623,7 %307
30/06/202622,9 %282
01/07/202634,6 %156
02/07/202627,2 %662
03/07/202616,2 %532
04/07/202637,5 %229
05/07/202618,6 %97
06/07/202617,8 %465
07/07/202632,5 %213
08/07/202616,9 %322
09/07/202613,6 %310
10/07/202623,1 %296
11/07/202612,3 %172
12/07/202616,6 %195
13/07/202643,6 %196
14/07/20265,6 %126
15/07/202616,4 %67
16/07/20267,2 %211
17/07/20266,3 %147
18/07/20263,9 %127
19/07/202615,2 %93
20/07/202615,0 %207
21/07/202612,9 %170
22/07/202617,5 %130
23/07/202611,5 %174
24/07/202623,7 %484
25/07/202610,9 %142
26/07/20267,1 %71
27/07/202623,7 %112
28/07/202614,9 %161
29/07/202615,6 %113
30/07/202639,6 %177
31/07/202631,3 %241
01/08/202632,1 %333
02/08/202647,5 %132
03/08/202617,4 %203
04/08/202638,0 %451
05/08/202619,3 %275
06/08/202629,5 %322
07/08/202636,4 %300
08/08/202643,5 %127
09/08/202624,4 %106
10/08/202629,0 %149
11/08/202621,7 %212
12/08/202641,7 %619
13/08/202641,6 %687
14/08/202649,3 %776
15/08/202653,1 %736
16/08/202649,4 %420
17/08/202649,6 %477
18/08/202642,7 %579
19/08/202644,0 %469
20/08/202631,9 %105
21/08/202648,4 %136
22/08/202641,2 %137
23/08/202647,9 %159
24/08/202648,5 %332
25/08/202648,6 %345
26/08/202650,1 %236
27/08/202639,5 %270
28/08/202653,2 %254
29/08/202642,3 %90
30/08/202638,3 %219
31/08/202638,5 %237
01/09/202629,9 %350
02/09/202638,2 %757
03/09/202645,1 %214
04/09/202646,0 %389
05/09/202640,1 %199
06/09/202653,7 %342
07/09/202644,8 %206
08/09/202647,8 %281
09/09/202653,7 %364
10/09/202659,5 %392
11/09/202681,9 %326
12/09/202664,3 %134
13/09/202667,2 %215
14/09/202661,5 %259
15/09/202665,7 %241
16/09/202663,0 %111
17/09/202664,6 %204
18/09/202670,5 %390
19/09/202654,7 %119
20/09/202656,6 %134
21/09/202662,8 %544
22/09/202663,8 %626
23/09/202668,4 %520
24/09/202669,3 %313
25/09/202660,6 %313
26/09/202669,3 %567
27/09/202653,0 %158
28/09/202655,8 %171
29/09/202669,4 %602
30/09/202672,5 %642
01/10/202685,4 %629
02/10/202674,8 %639
03/10/202668,1 %494
04/10/202663,4 %305
05/10/202668,2 %414
06/10/202670,3 %493
07/10/202673,6 %429
08/10/202651,1 %494
09/10/202677,0 %436
10/10/202674,8 %242
11/10/202662,0 %346
12/10/202640,8 %2 625
13/10/202662,5 %496
14/10/202675,5 %290
15/10/202685,0 %359
16/10/202681,0 %558
17/10/202667,9 %193
18/10/202667,9 %191
19/10/202680,1 %405
20/10/202670,0 %276
21/10/202677,4 %130
22/10/202677,2 %171
23/10/202680,1 %360
24/10/202661,9 %94
25/10/202665,6 %88
26/10/202674,5 %257
27/10/202685,7 %548
28/10/202683,9 %651
29/10/202674,8 %245
30/10/202675,6 %432
31/10/202658,3 %237
01/11/202669,7 %844
02/11/202669,8 %667
03/11/202665,7 %150
04/11/202663,0 %370
05/11/202661,0 %542
06/11/202663,6 %600
07/11/202662,4 %313
08/11/202651,2 %204
09/11/202672,6 %852
10/11/202672,7 %453
11/11/202665,1 %175
12/11/202658,3 %582
13/11/202670,2 %448
14/11/202682,7 %272
15/11/202677,1 %334
Part des tokens d’entrée servis depuis le cache
Période 2026Taux pondéréAppels retenusTTFT médian (s)
26–30 avril0,2 %46,52
Mai38,3 %2 8101,20
Juin37,4 %8 2821,58
Juillet20,6 %6 7982,19
Août42,1 %9 8931,77
Septembre60,1 %10 0831,55
Octobre73,0 %13 5271,66
1–15 novembre67,8 %6 8061,90
Source : export d’activité personnel, calculs agrégés. TTFT médian par appel tel que rapporté par OpenRouter, tous modèles et fournisseurs retenus confondus. Avril ne comporte que quatre appels et novembre est incomplet. Les logs bruts et identifiants ne sont pas publiés.
Méthode et périmètre

Export OpenRouter du 15 novembre 2026 : 82 970 lignes, dont 58 203 appels retenus sur les clés Prisma et Mentat. OpenClaw, le chat OpenRouter, les embeddings, les appels annulés ou en erreur, les entrées nulles et les compteurs de cache absents sont exclus. Les périodes suivent les dates de l’export, sans fuseau horaire indiqué.

Taux = somme des tokens lus depuis le cache ÷ somme des tokens d’entrée. Les appels à zéro token caché restent inclus ; un compteur absent n’est pas assimilé à zéro.

La progression du cache ne se traduit pas mécaniquement par une diminution continue du TTFT. Dans cet export, le TTFT médian par appel est de 2,19 s en juillet, 1,55 s en septembre, 1,66 s en octobre et 1,90 s sur la première moitié de novembre. Le taux de cache et la latence décrivent deux dimensions différentes du système.

Ces résultats sont observationnels. Les modèles, fournisseurs, volumes de contexte et usages évoluent sur la période ; l’export ne permet pas d’isoler l’effet causal de chaque modification. Le TTFT rapporté concerne les appels enregistrés par OpenRouter, pas la latence complète mesurée dans l’interface d’Ariath. Aucun pourcentage de réduction des coûts ou du temps de réponse n’est déduit du taux de cache.

08 / Enseignements d’architecture

Mesurer séparément la réutilisation, le coût et la latence.

Cette optimisation a porté sur la chaîne complète de construction du contexte : prompt système, définition des outils, enrichissement des messages, stockage et reprise des conversations. Le cache est devenu une contrainte de conception explicite, avec des transitions assumées lorsque le contexte doit être compacté.

Pour attribuer précisément les gains, l’étape de validation consiste à comparer des requêtes représentatives à modèle, fournisseur et paramètres constants, avec un cache froid puis réutilisé. Les mesures à rapprocher sont le volume de tokens lus et écrits, le coût facturé, les distributions de TTFT — notamment médiane et p90 — et la latence complète d’une exécution de l’agent.

La décision technique doit conserver les trois objectifs ensemble : limiter le coût par tâche, améliorer la réactivité et préserver la qualité de la réponse. Un meilleur taux de cache est utile lorsqu’il contribue à cet équilibre.

Cette étude se prolonge par une analyse du chemin complet de la requête, des appels frontend à la préparation backend et au premier token visible. Réduire la latence entre l’utilisateur et le modèle

Prolongement

Exposition des outils et gestion du contexte.

La réduction du nombre d’outils, leur découverte dynamique, le contexte transitoire et la délégation à des sous-agents modifient à la fois le volume des requêtes et le nombre d’appels. Ces arbitrages feront l’objet d’une étude distincte, afin de traiter leurs effets sur les coûts et la performance avec leurs propres mesures.

Gautier Billard

Gautier Billard

Mobile Tech Lead, spécialiste IA et créateur d’Ariath.

Échanger sur ce sujet