Scanner
Avancé Format G

GGML

Bibliothèque C de tenseurs et format précédant GGUF, à l'origine du mouvement LLM local sur CPU.

Définition complète

GGML est une bibliothèque de machine learning en C/C++ développée par Georgi Gerganov, initialement conçue pour rendre l'inférence de LLM possible sur CPU sans GPU dédié. Elle implémente des opérations sur les tenseurs optimisées pour différentes architectures (AVX2, ARM NEON) et supporte la quantisation entière (4-bit, 5-bit, 8-bit). Le format de fichier GGML a été remplacé par GGUF en août 2023 pour corriger ses limitations (non-extensible, pas auto-descriptif). Cependant, la bibliothèque GGML continue d'alimenter llama.cpp et whisper.cpp. Son impact a été immense : elle a démocratisé l'inférence locale de LLM sur des machines grand public, ouvrant la voie aux outils comme Ollama et LM Studio.

Termes associés

GGUF (Format de fichier) Format de fichier binaire conçu pour distribuer des LLM quantisés de manière portable, successeur de GGML. llama.cpp Bibliothèque C++ permettant d'exécuter des LLM localement sur CPU et GPU avec une empreinte mémoire minimale. Quantisation (Q4_K_M, Q5_K_M, Q8_0) Technique de compression réduisant la précision des poids d'un LLM (ex : de 16 bits à 4 bits) pour économiser mémoire et calcul. Inférence Phase d'utilisation d'un LLM entraîné pour générer des réponses à partir de nouvelles entrées.