Scanner
Intermédiaire Inférence S

Sampling

Méthode de décodage introduisant de la variabilité dans la génération en tirant aléatoirement parmi les tokens probables.

Définition complète

Le sampling est une famille de stratégies de décodage qui introduisent de la stochasticité dans la génération de texte, s'opposant au greedy decoding et au beam search déterministes. Au lieu de toujours choisir le token le plus probable, le sampling tire aléatoirement selon une distribution modifiée. La température contrôle l'entropie de cette distribution. Le top-k sampling restreint le tirage aux k tokens les plus probables ; le top-p (nucleus sampling) restreint aux tokens couvrant un pourcentage cumulé de probabilité. Ces méthodes produisent des textes plus variés et créatifs, essentiels pour les chatbots et la génération créative. La combinaison temperature + top-p est le standard industriel : température 0.7, top-p 0.9 est une valeur de départ commune pour les chatbots.

Termes associés

Température Paramètre contrôlant le degré de créativité/randomisation du LLM : 0 = déterministe, 1 = créatif, >1 = chaotique. Top-k Paramètre de sampling limitant le choix du prochain token aux k tokens les plus probables selon le modèle. Top-p (Nucleus Sampling) Paramètre de sampling ne conservant que les tokens dont les probabilités cumulées dépassent un seuil p, filtrant les options improbables. Logits Scores bruts non normalisés que le LLM assigne à chaque token possible avant l'application du softmax. Beam Search Algorithme de décodage explorant plusieurs séquences candidates en parallèle pour trouver la sortie la plus probable.