GPU

Les GPU effectuent les multiplications matricielles massives qui sous-tendent l’entraînement et l’inférence des milliers de fois plus vite qu’un CPU. Leur capacité mémoire fixe le plafond de la taille des modèles, d’où l’importance de la quantification. L’offre et le prix des GPU façonnent tout le marché.

En pratique : Qu’un modèle tienne ou non dans 24 Go de VRAM décide s’il tourne sur votre bureau.