Logits
Scores bruts non normalisés que le LLM assigne à chaque token possible avant l'application du softmax.
Définition complète
À chaque étape de génération, un LLM produit un vecteur de logits de taille égale au vocabulaire (souvent 32 000 à 128 000 tokens), représentant le score brut de chaque token possible comme prochain token. Ces logits sont transformés en probabilités par la fonction softmax et éventuellement modifiés par la température (division avant softmax) ou le top-k/top-p (masquage des tokens improbables). Les logits sont la représentation interne la plus informative de la « pensée » du modèle : leur analyse (log probabilities) permet de mesurer l'incertitude du modèle, de détecter des biais et de mettre en œuvre la distillation. Certaines APIs (OpenAI, Anthropic) permettent d'accéder aux log probabilities des tokens générés pour des applications avancées comme le scoring de réponses.