Scanner
Intermédiaire Format G

GGUF (Format de fichier)

Format de fichier binaire conçu pour distribuer des LLM quantisés de manière portable, successeur de GGML.

Définition complète

GGUF (GPT-Generated Unified Format) est un format de fichier unique et auto-descriptif introduit par Georgi Gerganov pour remplacer GGML dans llama.cpp. Un fichier GGUF contient à la fois les poids du modèle quantisé et toutes les métadonnées nécessaires (architecture, tokenizer, hyperparamètres), permettant de charger le modèle sans configuration supplémentaire. Les suffixes de nommage indiquent le niveau de quantisation : Q4_K_M, Q5_K_M, Q8_0, IQ2_XS, etc. Le GGUF est devenu le format de référence pour le déploiement local de LLM : Ollama, LM Studio, GPT4All et Jan l'utilisent tous. Les fichiers sont disponibles sur Hugging Face, notamment sur les dépôts TheBloke et bartowski.

Termes associés

GGML Bibliothèque C de tenseurs et format précédant GGUF, à l'origine du mouvement LLM local sur CPU. Quantisation (Q4_K_M, Q5_K_M, Q8_0) Technique de compression réduisant la précision des poids d'un LLM (ex : de 16 bits à 4 bits) pour économiser mémoire et calcul. llama.cpp Bibliothèque C++ permettant d'exécuter des LLM localement sur CPU et GPU avec une empreinte mémoire minimale. Ollama Outil en ligne de commande permettant de télécharger et d'exécuter des LLM localement en une seule commande. IQ2/IQ3 (Quantisation) Niveaux de quantisation extrêmement bas (2-3 bits) utilisant des tables de correspondance pour minimiser la perte de qualité.