Scanner
Avancé Inférence K

KV Cache

Mécanisme de mise en cache des clés et valeurs d'attention pour éviter de recalculer les tokens déjà traités.

Définition complète

Le KV cache (Key-Value cache) stocke en mémoire les matrices de clés (K) et valeurs (V) calculées par l'attention pour tous les tokens déjà traités dans la séquence, évitant leur recalcul à chaque nouveau token généré. Sans KV cache, l'inférence autoregressive serait quadratiquement plus lente. Il est la principale raison pour laquelle les contextes longs consomment plus de VRAM : un contexte de 128k tokens nécessite un KV cache proportionnellement plus grand. Les techniques de compression du KV cache (quantisation du cache, sliding window attention, Multi-Query Attention) visent à réduire son empreinte mémoire. Le « prompt caching » proposé par Anthropic et OpenAI permet de réutiliser le KV cache d'un préfixe commun entre plusieurs requêtes, réduisant la latence et les coûts.

Termes associés

Attention (Mécanisme d'attention) Mécanisme central des Transformers permettant au modèle de pondérer l'importance de chaque token par rapport aux autres. Contexte (Context Window) Nombre maximal de tokens qu'un LLM peut traiter simultanément en entrée et en sortie lors d'une inférence. VRAM Mémoire vidéo dédiée d'un GPU, facteur limitant pour la taille des LLM qu'on peut charger et inférer. Inférence Phase d'utilisation d'un LLM entraîné pour générer des réponses à partir de nouvelles entrées. Latence Temps écoulé entre l'envoi d'un prompt et la réception du premier token de réponse (TTFT).