Mistral NeMo 12B Instruct
Mistral NeMo 12B est un modèle développé en collaboration avec NVIDIA, offrant de très bonnes performances multilingues et en code pour une taille de 12 milliards de paramètres. Il utilise la tokenization Tekken et se distingue par une forte capacité à suivre des instructions complexes.
Caractéristiques principales
Variantes disponibles
| Quantization | Taille | RAM requise | VRAM requise | Vitesse | HuggingFace |
|---|---|---|---|---|---|
| Q4_K_M | 7.1 Go | 10 Go | 8 Go | ~28 tok/s | HuggingFace → |
| Q8_0 | 12.5 Go | 16 Go | 13 Go | ~18 tok/s | HuggingFace → |
Installation
Ollama
La méthode la plus simple pour lancer Mistral NeMo 12B Instruct en local.
ollama run mistral-nemo:12b Pas encore installé ? Voir le guide Ollama
LM Studio
Interface graphique pour exécuter Mistral NeMo 12B Instruct sans ligne de commande.
- Télécharger et ouvrir LM Studio
- Aller dans l'onglet Discover
- Rechercher Mistral NeMo 12B Instruct
- Sélectionner la variante souhaitée (Q4_K_M recommandé) et télécharger
- Charger le modèle et démarrer un chat
llama.cpp
Pour les utilisateurs avancés souhaitant un contrôle total sur l'inférence.
# Télécharger le modèle GGUF (exemple Q4_K_M)
huggingface-cli download \
mistralai/Mistral-NeMo-12B-Instruct \
--include "*.Q4_K_M.gguf" \
--local-dir ./models/mistral-nemo-12b Fichiers GGUF disponibles sur HuggingFace
Compatible avec votre machine ?
Scannez votre configuration matérielle pour savoir si Mistral NeMo 12B Instruct peut tourner sur votre ordinateur - RAM, VRAM, et vitesse estimée.