Scanner
Intermédiaire Entraînement F

Fine-tuning

Processus d'entraînement supplémentaire d'un LLM pré-entraîné sur un dataset spécialisé pour l'adapter à une tâche précise.

Définition complète

Le fine-tuning consiste à reprendre un modèle de base pré-entraîné et à continuer son entraînement sur un jeu de données plus petit et ciblé, ajustant les poids du réseau pour spécialiser le modèle sur une tâche ou un domaine. Il existe plusieurs variantes : le full fine-tuning (tous les paramètres), le PEFT (Parameter-Efficient Fine-Tuning) avec LoRA ou QLoRA, et le SFT (Supervised Fine-Tuning) sur des paires instruction/réponse. Le fine-tuning est utilisé pour adapter un modèle au style d'une entreprise, à un domaine technique (médical, juridique) ou pour améliorer sa capacité à suivre des instructions. Il est moins cher que l'entraînement from scratch mais nécessite tout de même des données de qualité et une infrastructure GPU adaptée.

Termes associés

LoRA (Low-Rank Adaptation) Technique de fine-tuning efficace qui n'entraîne que quelques matrices de bas rang au lieu de tous les poids du modèle. QLoRA Technique combinant la quantisation 4-bit d'un LLM de base avec LoRA pour permettre le fine-tuning sur GPU grand public. SFT (Supervised Fine-Tuning) Première étape d'alignement d'un LLM, entraîné sur des exemples curatés de paires instruction/réponse de qualité. Distillation (Knowledge Distillation) Technique d'entraînement où un petit modèle apprend à imiter les sorties d'un grand modèle pour être plus léger. RLHF (Reinforcement Learning from Human Feedback) Technique d'alignement utilisant des préférences humaines pour entraîner un LLM à être utile, inoffensif et honnête.