GPU

Le GPU eseguono le enormi moltiplicazioni tra matrici che stanno dietro addestramento e inferenza migliaia di volte più in fretta di una CPU. La loro capacità di memoria fissa il tetto alla dimensione dei modelli, ed è per questo che la quantizzazione conta. Disponibilità e prezzo delle GPU danno forma all’intero mercato.

In pratica: Se un modello entra o no in 24GB di VRAM decide se gira sulla tua scrivania.