Scanner
Intermédiaire Entraînement S

SFT (Supervised Fine-Tuning)

Première étape d'alignement d'un LLM, entraîné sur des exemples curatés de paires instruction/réponse de qualité.

Définition complète

Le Supervised Fine-Tuning est la méthode d'alignement la plus fondamentale : on entraîne un LLM de base sur un dataset de démonstrations de haute qualité - des paires (instruction, réponse idéale) rédigées ou validées par des humains. Le SFT enseigne au modèle le format conversationnel, comment interpréter les instructions et les valeurs de base (honnêteté, utilité). C'est la première étape du pipeline RLHF : SFT → Reward Model → PPO. Des datasets SFT publics comme Alpaca, OpenHermes, ShareGPT et UltraChat ont permis à la communauté open-source de créer des modèles instruct performants. La qualité des données SFT est primordiale : « less is more » - 1 000 exemples parfaits surpassent souvent 100 000 exemples médiocres.

Termes associés

RLHF (Reinforcement Learning from Human Feedback) Technique d'alignement utilisant des préférences humaines pour entraîner un LLM à être utile, inoffensif et honnête. Fine-tuning Processus d'entraînement supplémentaire d'un LLM pré-entraîné sur un dataset spécialisé pour l'adapter à une tâche précise. Instruct (Modèle Instruct) Version d'un LLM fine-tuné pour suivre des instructions conversationnelles, par opposition au modèle de base. LoRA (Low-Rank Adaptation) Technique de fine-tuning efficace qui n'entraîne que quelques matrices de bas rang au lieu de tous les poids du modèle. QLoRA Technique combinant la quantisation 4-bit d'un LLM de base avec LoRA pour permettre le fine-tuning sur GPU grand public.