01 / Objectif d’architecture
Réduire la latence ajoutée par l’application.
Dans un assistant IA, le temps avant le premier token ne dépend pas uniquement du modèle. Avant même de contacter le fournisseur, le frontend peut enchaîner plusieurs requêtes et le backend doit charger la conversation, préparer le graphe d’exécution et retrouver le contexte pertinent. Après réception du premier token, il reste à le transmettre et à l’afficher.
Sur Ariath, j’ai travaillé sur l’ensemble de ce chemin pour rapprocher le délai vécu par l’utilisateur de la latence du fournisseur. Passer sous la seconde constitue un repère d’expérience utilisateur, mais l’objectif d’ingénierie est plus précis : minimiser le temps ajouté par l’application, même lorsque le temps de réponse du modèle varie.
Cette approche oblige à examiner les dépendances entre traitements. Chaque opération peut être nécessaire sans devoir bloquer toutes les suivantes. Le travail consiste à supprimer les allers-retours inutiles, faire se chevaucher les préparations indépendantes et réduire le coût des traitements qui restent sur le chemin critique.
02 / Périmètre de mesure
Du message envoyé au premier token visible.
Je distingue le TTFT rapporté pour un appel au fournisseur du délai de bout en bout dans l’interface. Le second commence à l’envoi du message par l’utilisateur et se termine à l’affichage du premier token de la réponse. Une optimisation frontend peut améliorer ce délai sans modifier le TTFT enregistré par OpenRouter.
- FrontendEnvoi du message
- Backend
chat:requestConversation et persistance du message - PréparationGraphe ∥ mémoire / RAGChevauchement des travaux indépendants
- FournisseurAttente, prefill, premier token
- FrontendRéception et affichage
Schéma fonctionnel, sans échelle temporelle. Le transport et le routage s’ajoutent entre les composants ; les dépendances nécessaires restent respectées.
Le délai mesuré entre l’envoi d’un appel par le backend et la réception du premier token inclut encore le transport et, le cas échéant, le routage intermédiaire. Il ne représente donc pas le seul temps de calcul du modèle. Chez le fournisseur, le TTFT comprend notamment l’attente et le traitement initial du prompt, ou prefill. Documentation OpenRouter
Pour décomposer correctement la latence, les durées doivent être mesurées à des frontières explicites. Un chronomètre côté client couvre l’expérience complète ; des mesures côté serveur isolent la préparation et l’appel d’inférence. Soustraire directement des horodatages issus de machines différentes exige des horloges synchronisées. Les traces doivent aussi permettre de rapprocher les étapes d’une même requête.
03 / Rationalisation du frontend
Passer de trois appels successifs à un seul.
Le parcours initial répartissait trois opérations entre plusieurs appels du frontend : créer la conversation, enregistrer le message, puis lancer la génération. Les appels étaient effectués en série. Le client attendait une réponse pour émettre la requête suivante, alors que ces opérations appartenaient à une même intention utilisateur.
J’ai regroupé cette orchestration derrière le point d’entrée socket chat:request. Le frontend transmet une seule demande ; le backend prend en charge la création de la conversation lorsqu’elle est nécessaire, la persistance du message et le déclenchement de l’exécution jusqu’à l’appel au fournisseur.
Le gain ne vient pas de la disparition des écritures en base : elles restent nécessaires. Il vient de la suppression des allers-retours et des attentes imposées au frontend entre chaque étape. L’orchestration s’effectue au plus près des données et de l’exécution de l’agent.
Sur le chemin d’émission de la demande côté frontend, les temps observés sont passés d’environ 700 ms à 200 ms. Ce chiffre décrit cette phase du parcours, pas le temps complet avant l’affichage de la réponse.
04 / Préparation du backend
Faire se chevaucher la préparation du graphe et la recherche mémoire.
Une fois la demande reçue, le backend prépare le graphe LangGraph et le contexte utilisé pour l’inférence. La recherche RAG dans la mémoire utilisateur fait partie des travaux susceptibles de retarder l’envoi au modèle.
J’ai travaillé sur la préparation du graphe et sur le lancement en parallèle de la préparation mémoire / RAG avec les opérations du graphe qui peuvent avancer indépendamment. Les résultats sont réunis au moment où ils deviennent nécessaires pour construire l’appel au modèle.
Pour deux tâches indépendantes, une exécution strictement séquentielle cumule leurs durées. Leur chevauchement permet de se rapprocher de la durée de la plus lente, à laquelle s’ajoutent les étapes qui restent dépendantes. Ce principe ne justifie pas de paralléliser des opérations dont l’ordre conditionne la validité des données.
Les optimisations de cette phase ont fait passer la préparation d’environ 900 ms à 400 ms dans les observations de développement. Ce résultat porte sur la préparation backend dans son ensemble ; il ne permet pas d’attribuer le gain à une seule opération ou à la parallélisation seule.
| Phase | Avant | Après |
|---|---|---|
| Chemin d’émission frontend | ≈ 700 ms | ≈ 200 ms |
| Préparation backend | ≈ 900 ms | ≈ 400 ms |
Comment interpréter ces chiffres
Les durées sont approximatives et concernent des étapes différentes. Le périmètre exact des chronométrages et les conditions de mesure ne sont pas documentés ici comme dans un benchmark contrôlé. Leur somme ne permet pas d’établir un gain de bout en bout, notamment sans vérifier les frontières et les chevauchements entre phases. Ces chiffres proviennent du retour de développement, pas d’un calcul effectué sur l’export OpenRouter.
05 / Fournisseur et prompt cache
Optimiser aussi l’étape d’inférence.
Un gain moins lié au code applicatif a consisté à sélectionner, sur OpenRouter, un fournisseur moins encombré. La disponibilité et la charge de l’infrastructure d’inférence influencent aussi la réactivité observée, au-delà du choix du modèle. Le fournisseur le plus rapide dans un essai n’est toutefois pas nécessairement le plus rapide à toute heure.
Ce que montrent les délais observés.
L’export OpenRouter permet de regarder cette variabilité sur plusieurs mois. La médiane décrit le cas central ; le P90 rend visibles les attentes plus longues, qui comptent aussi dans l’expérience utilisateur. Le tableau ci-dessous est ordonné par volume d’appels.
26 avril–15 novembre 2026 · Les 12 fournisseurs les plus utilisés représentent 81,2 % des 60 095 appels retenus, tous usages du compte confondus.
| Fournisseur | Avr.* | Mai | Juin | Juil. | Août | Sept. | Oct. | Nov.* |
|---|---|---|---|---|---|---|---|---|
| OpenAI | — | — | 0,89† (1 appel) | 0,79† (19 appels) | 1,83 (754 appels) | 1,63 (5 780 appels) | 2,18 (7 401 appels) | 2,34 (5 055 appels) |
| GMICloud | — | 2,87 (358 appels) | 2,99 (1 762 appels) | 2,70 (2 905 appels) | 2,67 (1 341 appels) | 5,06 (30 appels) | 3,05† (10 appels) | — |
| StreamLake | — | 2,46† (2 appels) | 1,84 (685 appels) | 1,97 (1 062 appels) | 1,98 (3 862 appels) | 2,66 (281 appels) | 5,46 (192 appels) | — |
| 1,41† (1 appel) | 2,03† (11 appels) | 1,78 (1 271 appels) | 0,37 (644 appels) | 0,32 (905 appels) | 0,84 (496 appels) | 2,79 (166 appels) | 2,92 (90 appels) | |
| DeepInfra | — | 0,57 (458 appels) | 0,99 (225 appels) | 1,11 (65 appels) | 0,96 (806 appels) | 0,98 (949 appels) | 1,75 (37 appels) | 0,92† (23 appels) |
| Baidu | 7,01 (206 appels) | 6,31 (709 appels) | 0,63 (344 appels) | 1,00 (312 appels) | 1,03 (777 appels) | 1,94† (9 appels) | 0,69 (66 appels) | 0,87† (5 appels) |
| CoreWeave | — | — | — | 2,15† (13 appels) | 0,57 (73 appels) | 0,61 (270 appels) | 0,80 (1 017 appels) | 0,41 (457 appels) |
| Relace | — | — | — | — | 2,64† (10 appels) | 1,49 (763 appels) | 1,16 (799 appels) | 0,67† (6 appels) |
| Alibaba | 8,21† (1 appel) | 0,75 (295 appels) | 0,78 (725 appels) | 1,50 (315 appels) | 1,51 (65 appels) | 1,81† (12 appels) | 0,86† (11 appels) | 0,67† (4 appels) |
| SiliconFlow | 6,16 (317 appels) | 1,26 (299 appels) | 1,41 (604 appels) | 3,00 (95 appels) | 5,62 (43 appels) | 3,66† (14 appels) | 3,98† (14 appels) | — |
| Fireworks | — | 2,48† (5 appels) | 0,82 (60 appels) | 1,64 (35 appels) | 0,87 (738 appels) | 0,85 (463 appels) | 0,29† (2 appels) | — |
| Wafer | — | — | 0,76 (38 appels) | 1,71† (7 appels) | — | 1,75 (106 appels) | 0,48 (932 appels) | 0,31 (135 appels) |
* Avril : 26–30. Novembre : 1–15. † Moins de 30 appels dans le mois. — Aucun appel retenu. Les valeurs sont des médianes mensuelles en secondes ; chaque carte possède sa propre échelle.
| Fournisseur | Appels | TTFT P50 | TTFT P90 | Génération P50 | Génération P90 |
|---|---|---|---|---|---|
| OpenAI | 19 010 | 1,97 s | 5,92 s | 3,01 s | 10,60 s |
| GMICloud | 6 406 | 2,75 s | 6,49 s | 6,52 s | 20,78 s |
| StreamLake | 6 084 | 2,02 s | 6,87 s | 10,28 s | 33,76 s |
| 3 584 | 0,89 s | 3,06 s | 1,70 s | 7,98 s | |
| DeepInfra | 2 563 | 0,92 s | 3,16 s | 7,45 s | 41,59 s |
| Baidu | 2 428 | 2,42 s | 8,69 s | 5,77 s | 15,70 s |
| CoreWeave | 1 830 | 0,60 s | 2,69 s | 6,10 s | 25,12 s |
| Relace | 1 578 | 1,31 s | 3,55 s | 7,02 s | 36,94 s |
| Alibaba | 1 428 | 0,91 s | 4,25 s | 5,69 s | 22,53 s |
| SiliconFlow | 1 386 | 1,81 s | 9,43 s | 8,13 s | 33,08 s |
| Fireworks | 1 303 | 0,87 s | 5,12 s | 5,45 s | 23,80 s |
| Wafer | 1 218 | 0,48 s | 1,07 s | 8,57 s | 27,80 s |
Ce périmètre couvre tous les usages du compte, contrairement au périmètre Prisma/Mentat de l’article sur le prompt caching. Modèles, volumes de contexte, état du cache et longueurs de réponse diffèrent : ces résultats ne constituent pas un classement à conditions identiques. Le TTFT et la durée de génération sont les champs OpenRouter, sans les étapes supplémentaires de l’application. La durée de génération n’est ni le TTFT ni un débit en tokens par seconde ; ces deux durées ne sont pas additionnées ici.
Voir aussi les durées de génération mensuelles
| Fournisseur | Avr.* | Mai | Juin | Juil. | Août | Sept. | Oct. | Nov.* |
|---|---|---|---|---|---|---|---|---|
| OpenAI | — | — | 17,52† (1 appel) | 1,67† (19 appels) | 3,15 (754 appels) | 2,52 (5 780 appels) | 3,22 (7 401 appels) | 3,41 (5 055 appels) |
| GMICloud | — | 10,59 (358 appels) | 6,19 (1 762 appels) | 6,20 (2 905 appels) | 6,62 (1 341 appels) | 13,90 (30 appels) | 6,50† (10 appels) | — |
| StreamLake | — | 7,43† (2 appels) | 5,89 (685 appels) | 6,16 (1 062 appels) | 12,11 (3 862 appels) | 12,50 (281 appels) | 11,28 (192 appels) | — |
| 4,36† (1 appel) | 3,96† (11 appels) | 2,52 (1 271 appels) | 0,59 (644 appels) | 0,50 (905 appels) | 2,69 (496 appels) | 10,13 (166 appels) | 12,57 (90 appels) | |
| DeepInfra | — | 1,71 (458 appels) | 10,16 (225 appels) | 4,80 (65 appels) | 8,90 (806 appels) | 9,16 (949 appels) | 8,48 (37 appels) | 3,59† (23 appels) |
| Baidu | 7,39 (206 appels) | 7,95 (709 appels) | 2,32 (344 appels) | 3,41 (312 appels) | 4,86 (777 appels) | 18,04† (9 appels) | 3,13 (66 appels) | 3,45† (5 appels) |
| CoreWeave | — | — | — | 10,61† (13 appels) | 6,26 (73 appels) | 5,83 (270 appels) | 7,04 (1 017 appels) | 4,38 (457 appels) |
| Relace | — | — | — | — | 11,44† (10 appels) | 6,38 (763 appels) | 8,13 (799 appels) | 4,12† (6 appels) |
| Alibaba | 34,61† (1 appel) | 5,33 (295 appels) | 5,99 (725 appels) | 5,68 (315 appels) | 5,58 (65 appels) | 8,90† (12 appels) | 1,69† (11 appels) | 0,83† (4 appels) |
| SiliconFlow | 13,93 (317 appels) | 5,39 (299 appels) | 6,15 (604 appels) | 9,64 (95 appels) | 8,34 (43 appels) | 14,38† (14 appels) | 9,14† (14 appels) | — |
| Fireworks | — | 11,72† (5 appels) | 1,64 (60 appels) | 4,37 (35 appels) | 5,44 (738 appels) | 6,01 (463 appels) | 0,29† (2 appels) | — |
| Wafer | — | — | 5,27 (38 appels) | 1,71† (7 appels) | — | 6,36 (106 appels) | 10,02 (932 appels) | 1,12 (135 appels) |
Source et méthode de calcul
Export d’activité OpenRouter personnel. Streaming uniquement, hors embeddings, annulations, erreurs et mesures non finies ou non positives. Chaque appel retenu dispose des deux durées. Les percentiles sont calculés sur les appels individuels, avec interpolation linéaire pour le P90, sans moyenner les médianes mensuelles. P50 désigne la médiane ; le P90 décrit le délai sous lequel se situent environ 90 % des observations. Dates telles qu’exportées, sans conversion de fuseau. Les noms des fournisseurs sont conservés tels qu’exportés.
- OpenAI : le TTFT médian passe de 1,63 s en septembre à 2,34 s en novembre. Une amélioration d’ensemble ne se retrouve donc pas nécessairement chez chaque fournisseur.
- StreamLake : de 1,98 s en août à 5,46 s en octobre. Un choix de routage doit être réévalué à mesure que les délais observés évoluent.
- Baidu : de 6,31 s en mai à 0,63 s en juin. L’ampleur de l’écart invite à examiner les modèles et les requêtes concernés avant de l’attribuer à l’infrastructure.
Ces évolutions justifient un suivi continu, mais ne prouvent pas à elles seules un changement de charge chez un fournisseur. Elles ne mesurent pas non plus les gains applicatifs présentés plus haut.
Le cache comme levier complémentaire.
Le prompt caching a également contribué à la réduction de la latence dans ce travail. Réutiliser un préfixe stable peut réduire le traitement des entrées avant la génération. Les optimisations du prompt système, du catalogue d’outils et de la restitution de l’historique sont détaillées dans l’étude consacrée au cache.
Prompt caching : coûts et latence des agents IA
Ces leviers interviennent à des niveaux différents : réduire les préparations applicatives permet de contacter le fournisseur plus tôt ; améliorer le cache et choisir un fournisseur disponible agit sur ce qui suit. Aucun gain isolé ne suffit à garantir une latence constante de bout en bout.
06 / Diagnostic et validation
Relier Langfuse, les chronométrages applicatifs et les logs OpenRouter.
J’utilise Langfuse pour analyser les exécutions et leurs métriques de performance, avec les logs OpenRouter pour examiner les appels d’inférence. Les traces donnent une lecture des étapes de l’agent, des recherches RAG et des outils ; les mesures frontend restent indispensables pour couvrir le délai réellement perçu.
Le diagnostic doit identifier où se situe l’attente avant de modifier le système. Une préparation serveur lente, un fournisseur encombré et une restitution tardive du flux peuvent produire le même symptôme dans l’interface, mais appellent des corrections différentes.
- Fixer les frontières. Distinguer l’action utilisateur, l’admission backend, l’envoi au fournisseur, la réception du premier token et son affichage.
- Comparer des conditions proches. Documenter le modèle, le fournisseur, le volume de contexte et l’état du cache, ainsi que les démarrages à froid ou les reprises de conversation.
- Observer les distributions. Suivre la médiane et les latences élevées, par exemple le p90, pour vérifier qu’une amélioration ne concerne pas uniquement les meilleurs cas.
- Préserver le résultat fonctionnel. Vérifier que le gain ne provient pas d’une étape nécessaire ignorée, d’un contexte incomplet ou d’une persistance différée sans gestion de ses conséquences.
Ces critères définissent le protocole de validation à appliquer aux prochaines optimisations. Ils ne transforment pas les observations approximatives précédentes en résultats expérimentaux contrôlés.
07 / Optimisations envisagées
Réduire encore le temps hors inférence.
Plusieurs pistes restent à évaluer. Elles concernent autant le trajet réseau que le traitement local des données ; elles ne sont pas présentées ici comme des gains déjà acquis.
- Accès direct au fournisseur. Comparer un appel direct au même modèle et au même fournisseur avec le passage par OpenRouter, pour mesurer le coût du routage intermédiaire. Le gain doit être vérifié à conditions comparables, en tenant compte des fonctions de routage et de reprise qu’il faudrait alors prendre en charge.
- Sérialisation, désérialisation et déchiffrement. Profiler les transformations nécessaires pour charger et reconstruire le contexte, puis cibler les copies, conversions ou traitements répétés. L’optimisation porte sur le coût du pipeline, en conservant les garanties de protection des données.
- Embeddings plus rapides. Évaluer un modèle plus rapide, voire une exécution locale, en mesurant aussi la qualité de recherche. Un changement de modèle peut nécessiter de recalculer les embeddings du corpus et de valider la compatibilité de l’index.
- Infrastructure mieux dimensionnée. Tester une machine plus puissante pour les embeddings locaux et les traitements CPU, dont le déchiffrement. Les temps SQL doivent être examinés séparément : les performances dépendent aussi des requêtes, des index et des accès aux données.
08 / Enseignement
Le budget de latence se construit sur toute la chaîne.
Le travail sur Ariath a commencé avant l’inférence, avec la rationalisation des appels émis par les fronts. Il s’est poursuivi dans la préparation backend, puis dans le choix du fournisseur et la réutilisation du contexte. Cette progression montre qu’une expérience plus immédiate repose sur plusieurs décisions cohérentes, réparties dans l’architecture.
Une réduction de dix millisecondes reste utile lorsqu’elle retire un coût réel du chemin critique, mais la priorité doit suivre les mesures : éliminer d’abord les attentes évitables les plus importantes, puis optimiser les traitements résiduels. Le repère durable est la latence ajoutée par Ariath, pas un seuil universel indépendant du fournisseur.
L’objectif est de consacrer l’essentiel de l’attente à la production de la réponse, avec le moins de délai possible autour de l’appel au modèle.
