llama 8B params Open Source
Meta Llama 3.1 8B Instruct
Chat Code Multilingue
Llama 3.1 8B est le modèle open source de Meta optimisé pour l'instruction, offrant un excellent équilibre entre performance et vitesse sur CPU et GPU. Idéal pour le chat, la génération de texte et l'intégration locale dans des applications IA.
Caractéristiques principales
Paramètres 8B params
RAM min (Q4) 7 Go
Contexte 128K tokens
Famille llama
Année 2024
Use cases Chat, Code, Multilingue
Variantes disponibles
| Quantization | Taille | RAM requise | VRAM requise | Vitesse | HuggingFace |
|---|---|---|---|---|---|
| Q4_K_M | 4.9 Go | 7 Go | 5 Go | ~42 tok/s | HuggingFace → |
| Q8_0 | 8.5 Go | 11 Go | 9 Go | ~28 tok/s | HuggingFace → |
Installation
Ollama
La méthode la plus simple pour lancer Meta Llama 3.1 8B Instruct en local.
ollama run llama3.1:8b Pas encore installé ? Voir le guide Ollama
LM Studio
Interface graphique pour exécuter Meta Llama 3.1 8B Instruct sans ligne de commande.
- Télécharger et ouvrir LM Studio
- Aller dans l'onglet Discover
- Rechercher Meta Llama 3.1 8B Instruct
- Sélectionner la variante souhaitée (Q4_K_M recommandé) et télécharger
- Charger le modèle et démarrer un chat
llama.cpp
Pour les utilisateurs avancés souhaitant un contrôle total sur l'inférence.
# Télécharger le modèle GGUF (exemple Q4_K_M)
huggingface-cli download \
meta-llama/Meta-Llama-3.1-8B-Instruct \
--include "*.Q4_K_M.gguf" \
--local-dir ./models/llama-3.1-8b Fichiers GGUF disponibles sur HuggingFace
Compatible avec votre machine ?
Scannez votre configuration matérielle pour savoir si Meta Llama 3.1 8B Instruct peut tourner sur votre ordinateur - RAM, VRAM, et vitesse estimée.