Scanner
Débutant Inférence O

Ollama

Outil en ligne de commande permettant de télécharger et d'exécuter des LLM localement en une seule commande.

Définition complète

Ollama est un outil open-source qui simplifie radicalement l'utilisation de LLM en local : une seule commande (`ollama run llama3`) suffit pour télécharger et lancer un modèle. Il gère automatiquement les téléchargements, la sélection du format optimal, l'accélération GPU (CUDA, Metal) et expose un serveur REST compatible API OpenAI sur le port 11434. Ollama supporte des dizaines de modèles : Llama 3, Mistral, Gemma, Phi, DeepSeek, Qwen et bien d'autres. Son modèle de distribution utilise un format propriétaire basé sur GGUF. Des interfaces comme Open WebUI ou Msty se greffent sur Ollama pour offrir une interface chat. Ollama est disponible pour macOS, Linux et Windows, avec une installation en quelques minutes.

Termes associés

GGUF (Format de fichier) Format de fichier binaire conçu pour distribuer des LLM quantisés de manière portable, successeur de GGML. llama.cpp Bibliothèque C++ permettant d'exécuter des LLM localement sur CPU et GPU avec une empreinte mémoire minimale. Inférence Phase d'utilisation d'un LLM entraîné pour générer des réponses à partir de nouvelles entrées. API (Interface de Programmation) Interface permettant d'interroger un LLM hébergé à distance via des requêtes HTTP standardisées. GPU (Graphics Processing Unit) Processeur graphique massivement parallèle devenu indispensable pour l'entraînement et l'inférence des LLM.