LLaVA 1.6 Mistral 7B
LLaVA 1.6 Mistral 7B est un modèle multimodal open source combinant le LLM Mistral 7B avec un encodeur visuel CLIP, capable d'analyser et de décrire des images en langage naturel. Il supporte une résolution d'image plus élevée que les versions précédentes et offre d'excellentes performances sur les benchmarks vision-langage.
Caractéristiques principales
Variantes disponibles
| Quantization | Taille | RAM requise | VRAM requise | Vitesse | HuggingFace |
|---|---|---|---|---|---|
| Q4_K_M | 5 Go | 8 Go | 6 Go | ~22 tok/s | HuggingFace → |
Installation
Ollama
La méthode la plus simple pour lancer LLaVA 1.6 Mistral 7B en local.
ollama run llava:7b Pas encore installé ? Voir le guide Ollama
LM Studio
Interface graphique pour exécuter LLaVA 1.6 Mistral 7B sans ligne de commande.
- Télécharger et ouvrir LM Studio
- Aller dans l'onglet Discover
- Rechercher LLaVA 1.6 Mistral 7B
- Sélectionner la variante souhaitée (Q4_K_M recommandé) et télécharger
- Charger le modèle et démarrer un chat
llama.cpp
Pour les utilisateurs avancés souhaitant un contrôle total sur l'inférence.
# Télécharger le modèle GGUF (exemple Q4_K_M)
huggingface-cli download \
llava-hf/LLaVA-1.6-Mistral-7B \
--include "*.Q4_K_M.gguf" \
--local-dir ./models/llava-1.6-mistral-7b Fichiers GGUF disponibles sur HuggingFace
Compatible avec votre machine ?
Scannez votre configuration matérielle pour savoir si LLaVA 1.6 Mistral 7B peut tourner sur votre ordinateur - RAM, VRAM, et vitesse estimée.