Scanner
Intermédiaire Inférence L

Latence

Temps écoulé entre l'envoi d'un prompt et la réception du premier token de réponse (TTFT).

Définition complète

La latence dans le contexte des LLM se mesure principalement via le TTFT (Time To First Token), c'est-à-dire le délai avant que l'utilisateur commence à voir la réponse s'afficher. Elle dépend de la taille du modèle, de la longueur du prompt (calcul du KV cache), de l'infrastructure matérielle et de la charge du serveur. Le TPS (Tokens Per Second) mesure la vitesse de génération une fois démarrée. Ces deux métriques sont indépendantes : un serveur peut avoir un TTFT faible et un TPS bas. La latence est critique pour les applications interactives et le streaming. Des optimisations comme le batching continu, le speculative decoding et les puces Groq LPU visent à réduire la latence. Pour les API cloud, la latence varie typiquement de 200ms à quelques secondes selon le modèle.

Termes associés

Streaming Mode de transmission qui affiche les tokens générés au fur et à mesure, donnant l'impression d'une réponse en temps réel. Inférence Phase d'utilisation d'un LLM entraîné pour générer des réponses à partir de nouvelles entrées. KV Cache Mécanisme de mise en cache des clés et valeurs d'attention pour éviter de recalculer les tokens déjà traités. Groq Entreprise fabriquant des puces LPU spécialisées permettant une inférence LLM extrêmement rapide (des centaines de tokens/s). GPU (Graphics Processing Unit) Processeur graphique massivement parallèle devenu indispensable pour l'entraînement et l'inférence des LLM.