Scanner
Débutant Usage F

Few-shot Learning

Technique consistant à fournir quelques exemples dans le prompt pour guider le comportement du modèle sans modifier ses poids.

Définition complète

Le few-shot learning (apprentissage avec peu d'exemples) exploite la capacité des LLM à apprendre « en contexte » : en incluant 2 à 10 exemples de la tâche souhaitée directement dans le prompt, le modèle adapte ses sorties au format et au style voulus sans aucun entraînement supplémentaire. C'est l'une des propriétés émergentes les plus remarquables des grands modèles de langage, démontrée par GPT-3 en 2020. La qualité et la diversité des exemples fournis sont déterminantes : des exemples bien choisis peuvent considérablement améliorer les performances sur des tâches complexes. Le few-shot s'oppose au zero-shot (aucun exemple) et au one-shot (un seul exemple). Pour des besoins permanents, le fine-tuning reste plus efficace car il n'utilise pas de tokens de contexte.

Termes associés

Zero-shot Learning Capacité d'un LLM à réaliser une tâche sans aucun exemple fourni dans le prompt, uniquement via les instructions. Chain-of-Thought (CoT) Technique de prompt qui invite le modèle à décomposer son raisonnement étape par étape avant de répondre. Prompt Engineering Pratique de conception et d'optimisation des prompts pour maximiser la qualité et la pertinence des réponses d'un LLM. Fine-tuning Processus d'entraînement supplémentaire d'un LLM pré-entraîné sur un dataset spécialisé pour l'adapter à une tâche précise.