Scanner
Débutant Hardware G

GPU (Graphics Processing Unit)

Processeur graphique massivement parallèle devenu indispensable pour l'entraînement et l'inférence des LLM.

Définition complète

Un GPU est un processeur conçu à l'origine pour le rendu graphique 3D, composé de milliers de petits cœurs spécialisés dans les calculs parallèles. Cette architecture est idéale pour les opérations matricielles qui constituent l'essentiel du calcul dans les LLM. Les GPU NVIDIA (A100, H100, H200, RTX 4090) dominent le marché de l'IA grâce à leur écosystème CUDA mature. Pour l'inférence locale, un GPU grand public avec 16-24 Go de VRAM (RTX 3090, 4090) suffit pour faire tourner des modèles jusqu'à 34B en quantisation 4-bit. L'entraînement de grands modèles nécessite des clusters de centaines ou milliers de GPU H100 interconnectés. Les alternatives incluent les TPU de Google, les GPU AMD avec ROCm et les Apple Silicon avec leur mémoire unifiée.

Termes associés

CUDA Plateforme de calcul parallèle NVIDIA permettant d'accélérer l'entraînement et l'inférence des LLM sur GPU. VRAM Mémoire vidéo dédiée d'un GPU, facteur limitant pour la taille des LLM qu'on peut charger et inférer. ROCm Plateforme open-source d'AMD pour le calcul GPU, alternative à CUDA pour les LLM sur cartes graphiques AMD. Unified Memory (Mémoire Unifiée Apple Silicon) Architecture mémoire des puces Apple M où CPU et GPU partagent le même pool de RAM, idéale pour les LLM locaux. Quantisation (Q4_K_M, Q5_K_M, Q8_0) Technique de compression réduisant la précision des poids d'un LLM (ex : de 16 bits à 4 bits) pour économiser mémoire et calcul.