Scanner
Avancé Hardware R

ROCm

Plateforme open-source d'AMD pour le calcul GPU, alternative à CUDA pour les LLM sur cartes graphiques AMD.

Définition complète

ROCm (Radeon Open Compute) est l'écosystème open-source développé par AMD pour le calcul généraliste sur GPU, concurrent de CUDA de NVIDIA. Il permet d'utiliser des GPU AMD (RX 6000/7000, Instinct MI200/MI300) pour l'entraînement et l'inférence de LLM via des bibliothèques comme HIP (portage de CUDA), MIOpen (équivalent de cuDNN) et rocBLAS. La compatibilité ROCm avec PyTorch et les frameworks LLM s'est améliorée significativement depuis 2022, mais reste moins mature et moins bien documentée que CUDA. llama.cpp supporte ROCm via HIP. Les GPU Instinct MI300X d'AMD avec 192 Go de HBM représentent une alternative sérieuse aux H100 NVIDIA pour l'inférence de très grands modèles. L'adoption reste limitée par l'écosystème logiciel moins riche.

Termes associés

CUDA Plateforme de calcul parallèle NVIDIA permettant d'accélérer l'entraînement et l'inférence des LLM sur GPU. GPU (Graphics Processing Unit) Processeur graphique massivement parallèle devenu indispensable pour l'entraînement et l'inférence des LLM. VRAM Mémoire vidéo dédiée d'un GPU, facteur limitant pour la taille des LLM qu'on peut charger et inférer. llama.cpp Bibliothèque C++ permettant d'exécuter des LLM localement sur CPU et GPU avec une empreinte mémoire minimale. Inférence Phase d'utilisation d'un LLM entraîné pour générer des réponses à partir de nouvelles entrées.