Scanner
Débutant Architecture W

Weights (Poids du modèle)

Valeurs numériques apprises pendant l'entraînement d'un LLM, constituant l'essence du modèle distribuable.

Définition complète

Les poids (weights en anglais) sont les paramètres numériques d'un réseau de neurones, ajustés par rétropropagation pendant l'entraînement pour minimiser la fonction de perte. Dans le contexte des LLM, « télécharger les poids » signifie télécharger le fichier (souvent en GGUF, safetensors ou HF format) contenant ces milliards de valeurs flottantes. Les poids représentent l'intégralité des connaissances et capacités du modèle. Ils sont fixes après l'entraînement : l'inférence ne modifie pas les poids (contrairement au fine-tuning). La distribution des poids open-source (Meta avec LLaMA, Mistral AI, Alibaba avec Qwen) a été révolutionnaire pour l'accessibilité de l'IA. Certains modèles sont distribués avec des licences restrictives sur l'utilisation commerciale des poids.

Termes associés

Paramètre Valeur numérique apprise pendant l'entraînement d'un réseau de neurones ; la taille d'un LLM se mesure en milliards de paramètres. Quantisation (Q4_K_M, Q5_K_M, Q8_0) Technique de compression réduisant la précision des poids d'un LLM (ex : de 16 bits à 4 bits) pour économiser mémoire et calcul. GGUF (Format de fichier) Format de fichier binaire conçu pour distribuer des LLM quantisés de manière portable, successeur de GGML. Fine-tuning Processus d'entraînement supplémentaire d'un LLM pré-entraîné sur un dataset spécialisé pour l'adapter à une tâche précise. LoRA (Low-Rank Adaptation) Technique de fine-tuning efficace qui n'entraîne que quelques matrices de bas rang au lieu de tous les poids du modèle.