Inference Cost
Also called: token cost
What it costs to run a model in production, billed per token in and per token out.
Tokens de entrada e de saída costumam ter preços diferentes, e a saída é o lado caro. Os custos crescem junto com o tamanho da conversa, porque o histórico é reenviado a cada turno, e é por isso que apps de chat ingênuos ficam caros rápido. Cache, contexto mais curto e roteamento para modelos menores são as alavancas padrão.
Na prática: Reenviar um documento de 50 páginas a cada pergunta de acompanhamento, e pagar por isso todas as vezes.
Where this comes up
- DeepSeek V4.1 Flash Replaces V4 Pro: Pricing, Benchmarks, and What Changed Since V4 Flash
- GPT-6 Sol Benchmarks: How to Read the Scores and Run Your Own Evaluation
- GPT-6 Sol vs GPT-6 Astra: A Workload-Based Comparison
- GPT-Live-1 in the API: Pricing, Full-Duplex Voice, and the Configuration Behind Every Benchmark
- Will AI Replace DevOps Engineers? Reading the Divergence in the Data