Scanner
Avancé Architecture D

Décodeur (Decoder)

Composant d'architecture Transformer qui génère du texte token par token en mode autorégressif.

Définition complète

Dans l'architecture Transformer originale, le décodeur est la moitié qui génère la séquence de sortie token par token, en s'appuyant à la fois sur l'encodeur (représentation de l'entrée) et sur les tokens déjà générés. Les LLM modernes sont presque exclusivement des « decoder-only transformers » (GPT, LLaMA, Mistral) : ils n'ont pas d'encodeur séparé et génèrent du texte de gauche à droite. L'attention causale (masked attention) dans le décodeur empêche chaque token de « voir » les tokens futurs, préservant le caractère autorégressif. L'architecture encodeur-décodeur est encore utilisée pour des tâches de traduction et de résumé (T5, BART). Le décodage peut être accéléré par des techniques comme la décoding spéculative (speculative decoding).

Termes associés

Transformers Architecture de réseau de neurones basée sur l'attention, fondement de tous les LLM modernes depuis 2017. Attention (Mécanisme d'attention) Mécanisme central des Transformers permettant au modèle de pondérer l'importance de chaque token par rapport aux autres. Token Unité de base du traitement textuel dans un LLM : fragment de mot, mot entier ou signe de ponctuation. Beam Search Algorithme de décodage explorant plusieurs séquences candidates en parallèle pour trouver la sortie la plus probable.