Scanner
Intermédiaire Inférence L

llama.cpp

Bibliothèque C++ permettant d'exécuter des LLM localement sur CPU et GPU avec une empreinte mémoire minimale.

Définition complète

llama.cpp est un projet open-source de Georgi Gerganov permettant d'inférer des LLM (initialement LLaMA de Meta, maintenant des dizaines d'architectures) avec une implémentation C++ bas niveau sans dépendances lourdes. Il supporte CPU (x86, ARM), GPU NVIDIA (via CUDA), AMD (ROCm), Apple Silicon (Metal) et même des accélérations mixtes CPU+GPU. La quantisation GGUF est son format natif. C'est le moteur sous-jacent de nombreux outils populaires : Ollama, LM Studio, jan.ai, GPT4All. Il expose un serveur HTTP compatible API OpenAI permettant de l'intégrer à n'importe quel client LLM. Ses performances sur Apple Silicon sont particulièrement remarquables grâce à l'accélération Metal et la mémoire unifiée.

Termes associés

GGUF (Format de fichier) Format de fichier binaire conçu pour distribuer des LLM quantisés de manière portable, successeur de GGML. GGML Bibliothèque C de tenseurs et format précédant GGUF, à l'origine du mouvement LLM local sur CPU. Ollama Outil en ligne de commande permettant de télécharger et d'exécuter des LLM localement en une seule commande. Quantisation (Q4_K_M, Q5_K_M, Q8_0) Technique de compression réduisant la précision des poids d'un LLM (ex : de 16 bits à 4 bits) pour économiser mémoire et calcul. Unified Memory (Mémoire Unifiée Apple Silicon) Architecture mémoire des puces Apple M où CPU et GPU partagent le même pool de RAM, idéale pour les LLM locaux.