Gautier Billard

Études de cas IA

Construire. Observer. Ajuster.

Des retours d’expérience sur la construction d’Ariath. Les problèmes rencontrés, les choix techniques et ce que les observations permettent réellement de conclure.

02 / Latence et TTFT

Optimiser le TTFT : réduire la latence entre l’utilisateur et le modèle

Du frontend à l’inférence, réduire les allers-retours et les préparations pour rapprocher le premier token visible de la latence du fournisseur.

Lire l’étude de cas

≈2 500ms

de latence gagnées

Gain total estimé : frontend, backend et passage à Azure.

01 / Prompt caching

Prompt caching : optimiser les coûts et la latence des agents IA

Stabilité du préfixe, persistance des conversations et fraîcheur du contexte : retour technique sur l’optimisation des coûts d’inférence et du temps au premier token dans Ariath.

Lire l’étude de cas

73,0%

des tokens d’entrée servis depuis le cache en octobre 2026

13 527 appels retenus · plusieurs modèles et fournisseurs