Quantization

A quantização encolhe cada peso de, digamos, 16 bits para 8 ou 4. O modelo fica drasticamente menor e mais rápido, com degradação em geral modesta, e é isso que permite rodar modelos capazes em um notebook ou em um celular. Quanta qualidade você perde depende do método e de quão agressivo você resolve ser.

Na prática: Um modelo de 70B comprimido para rodar em uma única GPU de consumo.