Gautier Billard
← Études de cas IA

Étude de cas 02 / Ariath / Ingénierie des agents

Optimiser le TTFT : réduire la latence entre l’utilisateur et le modèle.

Du frontend à l’inférence, réduire les allers-retours et les préparations pour rapprocher le premier token visible de la latence du fournisseur.

01 / Objectif d’architecture

Réduire la latence ajoutée par l’application.

Dans un assistant IA, le temps avant le premier token ne dépend pas uniquement du modèle. Avant même de contacter le fournisseur, le frontend peut enchaîner plusieurs requêtes et le backend doit charger la conversation, préparer le graphe d’exécution et retrouver le contexte pertinent. Après réception du premier token, il reste à le transmettre et à l’afficher.

Sur Ariath, j’ai travaillé sur l’ensemble de ce chemin pour rapprocher le délai vécu par l’utilisateur de la latence du fournisseur. Passer sous la seconde constitue un repère d’expérience utilisateur, mais l’objectif d’ingénierie est plus précis : minimiser le temps ajouté par l’application, même lorsque le temps de réponse du modèle varie.

Cette approche oblige à examiner les dépendances entre traitements. Chaque opération peut être nécessaire sans devoir bloquer toutes les suivantes. Le travail consiste à supprimer les allers-retours inutiles, faire se chevaucher les préparations indépendantes et réduire le coût des traitements qui restent sur le chemin critique.

02 / Périmètre de mesure

Du message envoyé au premier token visible.

Je distingue le TTFT rapporté pour un appel au fournisseur du délai de bout en bout dans l’interface. Le second commence à l’envoi du message par l’utilisateur et se termine à l’affichage du premier token de la réponse. Une optimisation frontend peut améliorer ce délai sans modifier le TTFT enregistré par OpenRouter.

Chemin simplifié d’une requête dans Ariath
  1. FrontendEnvoi du message
  2. Backendchat:requestConversation et persistance du message
  3. PréparationGraphe ∥ mémoire / RAGChevauchement des travaux indépendants
  4. FournisseurAttente, prefill, premier token
  5. FrontendRéception et affichage

Schéma fonctionnel, sans échelle temporelle. Le transport et le routage s’ajoutent entre les composants ; les dépendances nécessaires restent respectées.

Le délai mesuré entre l’envoi d’un appel par le backend et la réception du premier token inclut encore le transport et, le cas échéant, le routage intermédiaire. Il ne représente donc pas le seul temps de calcul du modèle. Chez le fournisseur, le TTFT comprend notamment l’attente et le traitement initial du prompt, ou prefill. Documentation OpenRouter

Pour décomposer correctement la latence, les durées doivent être mesurées à des frontières explicites. Un chronomètre côté client couvre l’expérience complète ; des mesures côté serveur isolent la préparation et l’appel d’inférence. Soustraire directement des horodatages issus de machines différentes exige des horloges synchronisées. Les traces doivent aussi permettre de rapprocher les étapes d’une même requête.

03 / Rationalisation du frontend

Passer de trois appels successifs à un seul.

Le parcours initial répartissait trois opérations entre plusieurs appels du frontend : créer la conversation, enregistrer le message, puis lancer la génération. Les appels étaient effectués en série. Le client attendait une réponse pour émettre la requête suivante, alors que ces opérations appartenaient à une même intention utilisateur.

J’ai regroupé cette orchestration derrière le point d’entrée socket chat:request. Le frontend transmet une seule demande ; le backend prend en charge la création de la conversation lorsqu’elle est nécessaire, la persistance du message et le déclenchement de l’exécution jusqu’à l’appel au fournisseur.

Le gain ne vient pas de la disparition des écritures en base : elles restent nécessaires. Il vient de la suppression des allers-retours et des attentes imposées au frontend entre chaque étape. L’orchestration s’effectue au plus près des données et de l’exécution de l’agent.

Sur le chemin d’émission de la demande côté frontend, les temps observés sont passés d’environ 700 ms à 200 ms. Ce chiffre décrit cette phase du parcours, pas le temps complet avant l’affichage de la réponse.

04 / Préparation du backend

Faire se chevaucher la préparation du graphe et la recherche mémoire.

Une fois la demande reçue, le backend prépare le graphe LangGraph et le contexte utilisé pour l’inférence. La recherche RAG dans la mémoire utilisateur fait partie des travaux susceptibles de retarder l’envoi au modèle.

J’ai travaillé sur la préparation du graphe et sur le lancement en parallèle de la préparation mémoire / RAG avec les opérations du graphe qui peuvent avancer indépendamment. Les résultats sont réunis au moment où ils deviennent nécessaires pour construire l’appel au modèle.

Pour deux tâches indépendantes, une exécution strictement séquentielle cumule leurs durées. Leur chevauchement permet de se rapprocher de la durée de la plus lente, à laquelle s’ajoutent les étapes qui restent dépendantes. Ce principe ne justifie pas de paralléliser des opérations dont l’ordre conditionne la validité des données.

Les optimisations de cette phase ont fait passer la préparation d’environ 900 ms à 400 ms dans les observations de développement. Ce résultat porte sur la préparation backend dans son ensemble ; il ne permet pas d’attribuer le gain à une seule opération ou à la parallélisation seule.

Ordres de grandeur observés sur deux phases distinctes
PhaseAvantAprès
Chemin d’émission frontend≈ 700 ms≈ 200 ms
Préparation backend≈ 900 ms≈ 400 ms
Observations rapportées pendant le développement d’Ariath. Ces valeurs ne constituent ni des médianes ni des percentiles établis sur un échantillon documenté.
Comment interpréter ces chiffres

Les durées sont approximatives et concernent des étapes différentes. Le périmètre exact des chronométrages et les conditions de mesure ne sont pas documentés ici comme dans un benchmark contrôlé. Leur somme ne permet pas d’établir un gain de bout en bout, notamment sans vérifier les frontières et les chevauchements entre phases. Ces chiffres proviennent du retour de développement, pas d’un calcul effectué sur l’export OpenRouter.

05 / Fournisseur et prompt cache

Optimiser aussi l’étape d’inférence.

Un gain moins lié au code applicatif a consisté à sélectionner, sur OpenRouter, un fournisseur moins encombré. La disponibilité et la charge de l’infrastructure d’inférence influencent aussi la réactivité observée, au-delà du choix du modèle. Le fournisseur le plus rapide dans un essai n’est toutefois pas nécessairement le plus rapide à toute heure.

Ce que montrent les délais observés.

L’export OpenRouter permet de regarder cette variabilité sur plusieurs mois. La médiane décrit le cas central ; le P90 rend visibles les attentes plus longues, qui comptent aussi dans l’expérience utilisateur. Le tableau ci-dessous est ordonné par volume d’appels.

26 avril–15 novembre 2026 · Les 12 fournisseurs les plus utilisés représentent 81,2 % des 60 095 appels retenus, tous usages du compte confondus.

TTFT médian par fournisseur et par mois (s)
FournisseurAvr.*MaiJuinJuil.AoûtSept.Oct.Nov.*
OpenAI——0,89† (1 appel)0,79† (19 appels)1,83 (754 appels)1,63 (5 780 appels)2,18 (7 401 appels)2,34 (5 055 appels)
GMICloud—2,87 (358 appels)2,99 (1 762 appels)2,70 (2 905 appels)2,67 (1 341 appels)5,06 (30 appels)3,05† (10 appels)—
StreamLake—2,46† (2 appels)1,84 (685 appels)1,97 (1 062 appels)1,98 (3 862 appels)2,66 (281 appels)5,46 (192 appels)—
Google1,41† (1 appel)2,03† (11 appels)1,78 (1 271 appels)0,37 (644 appels)0,32 (905 appels)0,84 (496 appels)2,79 (166 appels)2,92 (90 appels)
DeepInfra—0,57 (458 appels)0,99 (225 appels)1,11 (65 appels)0,96 (806 appels)0,98 (949 appels)1,75 (37 appels)0,92† (23 appels)
Baidu7,01 (206 appels)6,31 (709 appels)0,63 (344 appels)1,00 (312 appels)1,03 (777 appels)1,94† (9 appels)0,69 (66 appels)0,87† (5 appels)
CoreWeave———2,15† (13 appels)0,57 (73 appels)0,61 (270 appels)0,80 (1 017 appels)0,41 (457 appels)
Relace————2,64† (10 appels)1,49 (763 appels)1,16 (799 appels)0,67† (6 appels)
Alibaba8,21† (1 appel)0,75 (295 appels)0,78 (725 appels)1,50 (315 appels)1,51 (65 appels)1,81† (12 appels)0,86† (11 appels)0,67† (4 appels)
SiliconFlow6,16 (317 appels)1,26 (299 appels)1,41 (604 appels)3,00 (95 appels)5,62 (43 appels)3,66† (14 appels)3,98† (14 appels)—
Fireworks—2,48† (5 appels)0,82 (60 appels)1,64 (35 appels)0,87 (738 appels)0,85 (463 appels)0,29† (2 appels)—
Wafer——0,76 (38 appels)1,71† (7 appels)—1,75 (106 appels)0,48 (932 appels)0,31 (135 appels)
Couleur : 0 à 8,21 s. Plus foncé = plus lent.

* Avril : 26–30. Novembre : 1–15. † Moins de 30 appels dans le mois. — Aucun appel retenu. Les valeurs sont des médianes mensuelles en secondes ; chaque carte possède sa propre échelle.

Médianes et P90 sur toute la période
FournisseurAppelsTTFT
P50
TTFT
P90
Génération
P50
Génération
P90
OpenAI19 0101,97 s5,92 s3,01 s10,60 s
GMICloud6 4062,75 s6,49 s6,52 s20,78 s
StreamLake6 0842,02 s6,87 s10,28 s33,76 s
Google3 5840,89 s3,06 s1,70 s7,98 s
DeepInfra2 5630,92 s3,16 s7,45 s41,59 s
Baidu2 4282,42 s8,69 s5,77 s15,70 s
CoreWeave1 8300,60 s2,69 s6,10 s25,12 s
Relace1 5781,31 s3,55 s7,02 s36,94 s
Alibaba1 4280,91 s4,25 s5,69 s22,53 s
SiliconFlow1 3861,81 s9,43 s8,13 s33,08 s
Fireworks1 3030,87 s5,12 s5,45 s23,80 s
Wafer1 2180,48 s1,07 s8,57 s27,80 s

Ce périmètre couvre tous les usages du compte, contrairement au périmètre Prisma/Mentat de l’article sur le prompt caching. Modèles, volumes de contexte, état du cache et longueurs de réponse diffèrent : ces résultats ne constituent pas un classement à conditions identiques. Le TTFT et la durée de génération sont les champs OpenRouter, sans les étapes supplémentaires de l’application. La durée de génération n’est ni le TTFT ni un débit en tokens par seconde ; ces deux durées ne sont pas additionnées ici.

Voir aussi les durées de génération mensuelles
Durée de génération OpenRouter médiane par mois (s)
FournisseurAvr.*MaiJuinJuil.AoûtSept.Oct.Nov.*
OpenAI——17,52† (1 appel)1,67† (19 appels)3,15 (754 appels)2,52 (5 780 appels)3,22 (7 401 appels)3,41 (5 055 appels)
GMICloud—10,59 (358 appels)6,19 (1 762 appels)6,20 (2 905 appels)6,62 (1 341 appels)13,90 (30 appels)6,50† (10 appels)—
StreamLake—7,43† (2 appels)5,89 (685 appels)6,16 (1 062 appels)12,11 (3 862 appels)12,50 (281 appels)11,28 (192 appels)—
Google4,36† (1 appel)3,96† (11 appels)2,52 (1 271 appels)0,59 (644 appels)0,50 (905 appels)2,69 (496 appels)10,13 (166 appels)12,57 (90 appels)
DeepInfra—1,71 (458 appels)10,16 (225 appels)4,80 (65 appels)8,90 (806 appels)9,16 (949 appels)8,48 (37 appels)3,59† (23 appels)
Baidu7,39 (206 appels)7,95 (709 appels)2,32 (344 appels)3,41 (312 appels)4,86 (777 appels)18,04† (9 appels)3,13 (66 appels)3,45† (5 appels)
CoreWeave———10,61† (13 appels)6,26 (73 appels)5,83 (270 appels)7,04 (1 017 appels)4,38 (457 appels)
Relace————11,44† (10 appels)6,38 (763 appels)8,13 (799 appels)4,12† (6 appels)
Alibaba34,61† (1 appel)5,33 (295 appels)5,99 (725 appels)5,68 (315 appels)5,58 (65 appels)8,90† (12 appels)1,69† (11 appels)0,83† (4 appels)
SiliconFlow13,93 (317 appels)5,39 (299 appels)6,15 (604 appels)9,64 (95 appels)8,34 (43 appels)14,38† (14 appels)9,14† (14 appels)—
Fireworks—11,72† (5 appels)1,64 (60 appels)4,37 (35 appels)5,44 (738 appels)6,01 (463 appels)0,29† (2 appels)—
Wafer——5,27 (38 appels)1,71† (7 appels)—6,36 (106 appels)10,02 (932 appels)1,12 (135 appels)
Couleur : 0 à 34,61 s. Plus foncé = plus lent.
Source et méthode de calcul

Export d’activité OpenRouter personnel. Streaming uniquement, hors embeddings, annulations, erreurs et mesures non finies ou non positives. Chaque appel retenu dispose des deux durées. Les percentiles sont calculés sur les appels individuels, avec interpolation linéaire pour le P90, sans moyenner les médianes mensuelles. P50 désigne la médiane ; le P90 décrit le délai sous lequel se situent environ 90 % des observations. Dates telles qu’exportées, sans conversion de fuseau. Les noms des fournisseurs sont conservés tels qu’exportés.

Ces évolutions justifient un suivi continu, mais ne prouvent pas à elles seules un changement de charge chez un fournisseur. Elles ne mesurent pas non plus les gains applicatifs présentés plus haut.

Le cache comme levier complémentaire.

Le prompt caching a également contribué à la réduction de la latence dans ce travail. Réutiliser un préfixe stable peut réduire le traitement des entrées avant la génération. Les optimisations du prompt système, du catalogue d’outils et de la restitution de l’historique sont détaillées dans l’étude consacrée au cache.

Prompt caching : coûts et latence des agents IA

Ces leviers interviennent à des niveaux différents : réduire les préparations applicatives permet de contacter le fournisseur plus tôt ; améliorer le cache et choisir un fournisseur disponible agit sur ce qui suit. Aucun gain isolé ne suffit à garantir une latence constante de bout en bout.

06 / Diagnostic et validation

Relier Langfuse, les chronométrages applicatifs et les logs OpenRouter.

J’utilise Langfuse pour analyser les exécutions et leurs métriques de performance, avec les logs OpenRouter pour examiner les appels d’inférence. Les traces donnent une lecture des étapes de l’agent, des recherches RAG et des outils ; les mesures frontend restent indispensables pour couvrir le délai réellement perçu.

Le diagnostic doit identifier où se situe l’attente avant de modifier le système. Une préparation serveur lente, un fournisseur encombré et une restitution tardive du flux peuvent produire le même symptôme dans l’interface, mais appellent des corrections différentes.

  • Fixer les frontières. Distinguer l’action utilisateur, l’admission backend, l’envoi au fournisseur, la réception du premier token et son affichage.
  • Comparer des conditions proches. Documenter le modèle, le fournisseur, le volume de contexte et l’état du cache, ainsi que les démarrages à froid ou les reprises de conversation.
  • Observer les distributions. Suivre la médiane et les latences élevées, par exemple le p90, pour vérifier qu’une amélioration ne concerne pas uniquement les meilleurs cas.
  • Préserver le résultat fonctionnel. Vérifier que le gain ne provient pas d’une étape nécessaire ignorée, d’un contexte incomplet ou d’une persistance différée sans gestion de ses conséquences.

Ces critères définissent le protocole de validation à appliquer aux prochaines optimisations. Ils ne transforment pas les observations approximatives précédentes en résultats expérimentaux contrôlés.

07 / Optimisations envisagées

Réduire encore le temps hors inférence.

Plusieurs pistes restent à évaluer. Elles concernent autant le trajet réseau que le traitement local des données ; elles ne sont pas présentées ici comme des gains déjà acquis.

  • Accès direct au fournisseur. Comparer un appel direct au même modèle et au même fournisseur avec le passage par OpenRouter, pour mesurer le coût du routage intermédiaire. Le gain doit être vérifié à conditions comparables, en tenant compte des fonctions de routage et de reprise qu’il faudrait alors prendre en charge.
  • Sérialisation, désérialisation et déchiffrement. Profiler les transformations nécessaires pour charger et reconstruire le contexte, puis cibler les copies, conversions ou traitements répétés. L’optimisation porte sur le coût du pipeline, en conservant les garanties de protection des données.
  • Embeddings plus rapides. Évaluer un modèle plus rapide, voire une exécution locale, en mesurant aussi la qualité de recherche. Un changement de modèle peut nécessiter de recalculer les embeddings du corpus et de valider la compatibilité de l’index.
  • Infrastructure mieux dimensionnée. Tester une machine plus puissante pour les embeddings locaux et les traitements CPU, dont le déchiffrement. Les temps SQL doivent être examinés séparément : les performances dépendent aussi des requêtes, des index et des accès aux données.

08 / Enseignement

Le budget de latence se construit sur toute la chaîne.

Le travail sur Ariath a commencé avant l’inférence, avec la rationalisation des appels émis par les fronts. Il s’est poursuivi dans la préparation backend, puis dans le choix du fournisseur et la réutilisation du contexte. Cette progression montre qu’une expérience plus immédiate repose sur plusieurs décisions cohérentes, réparties dans l’architecture.

Une réduction de dix millisecondes reste utile lorsqu’elle retire un coût réel du chemin critique, mais la priorité doit suivre les mesures : éliminer d’abord les attentes évitables les plus importantes, puis optimiser les traitements résiduels. Le repère durable est la latence ajoutée par Ariath, pas un seuil universel indépendant du fournisseur.

L’objectif est de consacrer l’essentiel de l’attente à la production de la réponse, avec le moins de délai possible autour de l’appel au modèle.

Gautier Billard

Gautier Billard

Mobile Tech Lead, spécialiste IA et créateur d’Ariath.

Échanger sur ce sujet