Ollama : Guide Complet d'Installation et d'Utilisation

Qu'est-ce qu'Ollama ?

Installation par système d'exploitation

# Installer Ollama via Homebrew
brew install ollama

# Démarrer le serveur en arrière-plan
brew services start ollama

# Ou le lancer en avant-plan pour voir les logs
ollama serve

ollama --version
# → ollama version 0.x.x

# Dans PowerShell ou Command Prompt
ollama run llama3.1

# Vérifier la version
ollama --version

curl -fsSL https://ollama.ai/install.sh | sh

# Vérifier le statut
sudo systemctl status ollama

# Démarrer manuellement
sudo systemctl start ollama

# Activer au démarrage
sudo systemctl enable ollama

# Voir les logs en temps réel
journalctl -u ollama -f

# Vérifier que CUDA est disponible
nvidia-smi

# Ollama détecte automatiquement le GPU
# Vérifier lors du premier run :
ollama run llama3.1
# → "using CUDA device: NVIDIA GeForce RTX..."

# Télécharger le binaire directement
curl -L https://ollama.ai/download/ollama-linux-amd64 -o /usr/local/bin/ollama
chmod +x /usr/local/bin/ollama

Premiers pas : lancer votre premier modèle

ollama run llama3.1

# Sortie typique lors du premier lancement
pulling manifest
pulling 8eeb52dfb3bb... 100% ▕████████████████▏ 4.7 GB
pulling 948af2743fc7... 100% ▕████████████████▏ 1.5 KB
verifying sha256 digest
writing manifest
success
>>> Send a message (/? for help)

>>> Bonjour ! Explique-moi ce qu'est un transformer en 3 phrases.

Un transformer est une architecture de réseau de neurones introduite en 2017 dans
l'article "Attention is All You Need". Il repose sur un mécanisme d'attention qui
permet au modèle de pondérer l'importance de chaque mot d'une séquence en relation
avec les autres, sans dépendre de récurrence. Cette architecture est aujourd'hui la
base de tous les grands modèles de langage comme GPT, Llama ou Mistral.

>>>

Commandes utiles dans le chat interactif

Lancer un modèle avec un prompt en ligne de commande

# Passer un prompt directement (non-interactif)
ollama run llama3.1 "Donne-moi une recette de tarte aux pommes"

# Passer un prompt depuis stdin
echo "Résume ce texte : $(cat article.txt)" | ollama run llama3.1

# Utiliser un system prompt personnalisé
ollama run llama3.1 --system "Tu es un expert en droit fiscal français."

Référence complète des commandes Ollama

Options avancées pour ollama run

# Spécifier un tag de version ou de quantification
ollama run llama3.1:70b
ollama run llama3.1:8b-instruct-q8_0

# Verbose : voir les tokens générés en temps réel
ollama run llama3.1 --verbose

# Lancer avec un context window personnalisé
ollama run llama3.1 --num-ctx 8192

Variables d'environnement

# Changer le port du serveur (défaut : 11434)
OLLAMA_HOST=0.0.0.0:11435 ollama serve

# Dossier de stockage des modèles
OLLAMA_MODELS=/data/ollama/models ollama serve

# Limiter la VRAM utilisée (Go)
OLLAMA_MAX_VRAM=6000000000 ollama serve

# Nombre de threads CPU
OLLAMA_NUM_PARALLEL=4 ollama serve

# Désactiver le GPU (forcer CPU)
OLLAMA_NOPRUNE=1 CUDA_VISIBLE_DEVICES="" ollama serve

Modèles populaires - démarrage rapide

ollama run llama3.1
ollama run llama3.1:70b

ollama run mistral
ollama run mistral:7b-instruct

ollama run codellama
ollama run codellama:34b

ollama run deepseek-r1:7b
ollama run deepseek-r1:14b

ollama run nomic-embed-text
ollama pull mxbai-embed-large

ollama run gemma3
ollama run gemma3:4b

Rechercher des modèles

# Lister les modèles disponibles dans la bibliothèque
# (redirige vers le site web)
# → https://ollama.ai/library

# Voir tous les tags disponibles pour un modèle
ollama show llama3.1 --modelfile | head -5

# Exemple : tags pour llama3.1
# llama3.1           (alias de 8b)
# llama3.1:8b        (défaut, 4.7 Go)
# llama3.1:70b       (40 Go, GPU recommandé)
# llama3.1:405b      (231 Go, datacenter)
# llama3.1:8b-instruct-q8_0  (8 Go, qualité max)

Utilisation de l'API REST

API native - génération de texte

# Génération simple (streaming désactivé)
curl http://localhost:11434/api/generate \
  -d '{
    "model": "llama3.1",
    "prompt": "Quelle est la capitale de la France ?",
    "stream": false
  }'

# Réponse :
{
  "model": "llama3.1",
  "response": "La capitale de la France est Paris.",
  "done": true,
  "total_duration": 1234567890,
  "eval_count": 12
}

API native - mode chat (avec historique)

curl http://localhost:11434/api/chat \
  -d '{
    "model": "llama3.1",
    "messages": [
      {"role": "system", "content": "Tu es un assistant expert en cuisine française."},
      {"role": "user", "content": "Comment faire un beurre blanc ?"}
    ],
    "stream": false
  }'

API compatible OpenAI

# Endpoint compatible OpenAI Chat Completions
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.1",
    "messages": [
      {"role": "user", "content": "Bonjour !"}
    ]
  }'

Utilisation avec la bibliothèque Python OpenAI

# pip install openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama",  # valeur ignorée, mais requise
)

response = client.chat.completions.create(
    model="llama3.1",
    messages=[
        {"role": "user", "content": "Explique le principe SOLID en Python"}
    ]
)

print(response.choices[0].message.content)

Embeddings via l'API

curl http://localhost:11434/api/embed \
  -d '{
    "model": "nomic-embed-text",
    "input": "Les LLMs transforment le développement logiciel"
  }'

# Retourne un vecteur d'embeddings pour la recherche sémantique

Endpoints disponibles

Modelfile - personnaliser et créer des modèles

Structure d'un Modelfile

# Modelfile - assistant juridique français

FROM llama3.1

# System prompt par défaut
SYSTEM """
Tu es un assistant juridique spécialisé en droit français.
Tu réponds de manière précise, en citant les articles de loi pertinents.
Tu rappelles toujours que tes réponses ne remplacent pas un avocat.
"""

# Paramètres de génération
PARAMETER temperature 0.3
PARAMETER top_p 0.9
PARAMETER num_ctx 8192

# Template de message (optionnel)
TEMPLATE """{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
<|assistant|>
{{ end }}"""

# Licence
LICENSE MIT

Créer et utiliser un modèle personnalisé

# Créer le modèle depuis le Modelfile
ollama create assistant-juridique -f Modelfile

# Lancer le modèle personnalisé
ollama run assistant-juridique

# Vérifier qu'il est bien créé
ollama list

Paramètres disponibles dans un Modelfile

Importer un modèle GGUF personnalisé

# Si vous avez un fichier .gguf téléchargé manuellement
# (depuis HuggingFace par exemple)

# Créer un Modelfile qui pointe vers le fichier local
echo "FROM ./mon-modele.gguf" > Modelfile
ollama create mon-modele -f Modelfile
ollama run mon-modele

Intégration Open WebUI

Installation avec Docker (recommandée)

# Si Ollama tourne sur la même machine (recommandé)
docker run -d \
  -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

# Si vous utilisez une GPU NVIDIA
docker run -d \
  -p 3000:8080 \
  --gpus all \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:cuda

Installation sans Docker (pip)

# Installer via pip
pip install open-webui

# Lancer
open-webui serve

Fonctionnalités notables d'Open WebUI

Optimisation des performances

Accélération GPU

# Vérifier quel accélérateur est utilisé lors du lancement
ollama run llama3.1 --verbose
# → affiche les infos GPU/CPU en bas de chaque réponse

# Forcer uniquement le CPU (debug)
OLLAMA_LLM_LIBRARY=cpu ollama run llama3.1

Régler num_ctx (context window)

# Dans le Modelfile
PARAMETER num_ctx 8192

# Via l'API
curl http://localhost:11434/api/generate \
  -d '{
    "model": "llama3.1",
    "options": {"num_ctx": 8192},
    "prompt": "..."
  }'

# Via la CLI
ollama run llama3.1
>>> /set parameter num_ctx 8192

Régler num_gpu (couches GPU)

# Charger toutes les couches sur GPU (défaut auto)
PARAMETER num_gpu -1  # dans Modelfile

# Charger seulement 20 couches sur GPU (si VRAM limitée)
PARAMETER num_gpu 20

# Forcer CPU uniquement
PARAMETER num_gpu 0

Parallélisme et concurrence

# Nombre de requêtes parallèles (défaut : 1 ou 4 selon VRAM)
OLLAMA_NUM_PARALLEL=2 ollama serve

# Nombre de modèles chargés simultanément
OLLAMA_MAX_LOADED_MODELS=2 ollama serve

# Délai avant déchargement d'un modèle inactif (défaut : 5 min)
OLLAMA_KEEP_ALIVE=10m ollama serve

# Garder le modèle chargé indéfiniment
OLLAMA_KEEP_ALIVE=-1 ollama serve

Benchmarks indicatifs (tokens/seconde)

Dépannage

FAQ