Microsoft Phi-3.5 Mini Instruct
Phi-3.5 Mini est un modèle compact de Microsoft avec 3.8 milliards de paramètres, conçu pour tourner efficacement sur des appareils à faibles ressources y compris les smartphones. Il offre d'excellentes performances en raisonnement et en code pour sa taille, grâce à un entraînement sur des données synthétiques soigneusement filtrées.
Caractéristiques principales
Variantes disponibles
| Quantization | Taille | RAM requise | VRAM requise | Vitesse | HuggingFace |
|---|---|---|---|---|---|
| Q4_K_M | 2.4 Go | 4 Go | 3 Go | ~80 tok/s | HuggingFace → |
| Q8_0 | 4.1 Go | 7 Go | 5 Go | ~58 tok/s | HuggingFace → |
Installation
Ollama
La méthode la plus simple pour lancer Microsoft Phi-3.5 Mini Instruct en local.
ollama run phi3.5:3.8b Pas encore installé ? Voir le guide Ollama
LM Studio
Interface graphique pour exécuter Microsoft Phi-3.5 Mini Instruct sans ligne de commande.
- Télécharger et ouvrir LM Studio
- Aller dans l'onglet Discover
- Rechercher Microsoft Phi-3.5 Mini Instruct
- Sélectionner la variante souhaitée (Q4_K_M recommandé) et télécharger
- Charger le modèle et démarrer un chat
llama.cpp
Pour les utilisateurs avancés souhaitant un contrôle total sur l'inférence.
# Télécharger le modèle GGUF (exemple Q4_K_M)
huggingface-cli download \
microsoft/Microsoft-Phi-3.5-Mini-Instruct \
--include "*.Q4_K_M.gguf" \
--local-dir ./models/phi-3.5-mini Fichiers GGUF disponibles sur HuggingFace
Compatible avec votre machine ?
Scannez votre configuration matérielle pour savoir si Microsoft Phi-3.5 Mini Instruct peut tourner sur votre ordinateur - RAM, VRAM, et vitesse estimée.