Scanner
Avancé Hardware C

CUDA

Plateforme de calcul parallèle NVIDIA permettant d'accélérer l'entraînement et l'inférence des LLM sur GPU.

Définition complète

CUDA (Compute Unified Device Architecture) est le framework de programmation GPU développé par NVIDIA, devenu le standard de l'industrie pour l'accélération du deep learning. Presque tous les frameworks d'entraînement (PyTorch, TensorFlow, JAX) s'appuient sur CUDA pour paralléliser les opérations matricielles massivement sur les milliers de cœurs d'un GPU. Les bibliothèques CUDA clés pour les LLM incluent cuBLAS (algèbre linéaire), cuDNN (réseaux de neurones) et FlashAttention. La dépendance à CUDA explique la domination de NVIDIA dans le marché des GPU pour l'IA. Les alternatives comme ROCm (AMD) et Metal (Apple) cherchent à réduire cette dépendance mais restent moins matures pour les workloads LLM complexes.

Termes associés

GPU (Graphics Processing Unit) Processeur graphique massivement parallèle devenu indispensable pour l'entraînement et l'inférence des LLM. VRAM Mémoire vidéo dédiée d'un GPU, facteur limitant pour la taille des LLM qu'on peut charger et inférer. ROCm Plateforme open-source d'AMD pour le calcul GPU, alternative à CUDA pour les LLM sur cartes graphiques AMD. Inférence Phase d'utilisation d'un LLM entraîné pour générer des réponses à partir de nouvelles entrées.