Scanner
Débutant Architecture P

Paramètre

Valeur numérique apprise pendant l'entraînement d'un réseau de neurones ; la taille d'un LLM se mesure en milliards de paramètres.

Définition complète

Les paramètres (ou poids) d'un LLM sont les valeurs numériques stockées dans les matrices de transformation du réseau de neurones, ajustées pendant l'entraînement pour minimiser l'erreur de prédiction. Un LLM de 7 milliards de paramètres stocke 7×10⁹ valeurs flottantes. En précision FP16, cela représente environ 14 Go - d'où la règle empirique « 2 octets par paramètre en FP16 ». La quantisation réduit ce ratio : ~0.5 Go/B en Q4. Le nombre de paramètres est le principal indicateur de la capacité et du coût d'un modèle, mais n'est pas le seul déterminant de la qualité : la qualité des données d'entraînement et la méthode d'alignement jouent un rôle majeur. Les modèles de 7B à 34B sont adaptés à l'usage local, tandis que les modèles de 70B+ nécessitent des configurations matérielles plus importantes.

Termes associés

LLM (Large Language Model) Grand modèle de langage entraîné sur des milliards de textes, capable de comprendre et générer du langage naturel. VRAM Mémoire vidéo dédiée d'un GPU, facteur limitant pour la taille des LLM qu'on peut charger et inférer. Quantisation (Q4_K_M, Q5_K_M, Q8_0) Technique de compression réduisant la précision des poids d'un LLM (ex : de 16 bits à 4 bits) pour économiser mémoire et calcul. Fine-tuning Processus d'entraînement supplémentaire d'un LLM pré-entraîné sur un dataset spécialisé pour l'adapter à une tâche précise. LoRA (Low-Rank Adaptation) Technique de fine-tuning efficace qui n'entraîne que quelques matrices de bas rang au lieu de tous les poids du modèle.