Benchmark

A standard test set used to compare models — useful for direction, unreliable as a guarantee.

Benchmarks tornam modelos comparáveis no papel. Suas fraquezas são estruturais: com o tempo eles vazam para os dados de treinamento, viram alvo de otimização e raramente se parecem com a sua carga de trabalho. Leia-os como um sinal grosseiro e depois rode as suas próprias evals.

Na prática: Um modelo no topo de um benchmark de programação e ainda assim falhando no seu código.