Prompt Caching
Reusing the processed form of a repeated prompt prefix so you do not pay full price for it again.
Wenn viele Anfragen denselben langen, stabilen Anfang teilen — einen System-Prompt, ein Dokument, eine Reihe von Beispielen —, kann der Anbieter dank Caching auf die erneute Berechnung verzichten. Die Ersparnis ist groß und fast geschenkt: Stell den stabilen Inhalt nach vorn und den variablen ans Ende.
In der Praxis: Ein Handbuch mit 20,000 Token, einmal gecacht und danach tausendfach günstig abgefragt.
Where this comes up
- ChatGPT 5.6: Release Date, Models, Pricing & Access
- ChatGPT Context Window: What It Is and What Actually Fits
- Claude Context Window: Size, What Counts Toward It, and How to Manage It
- Claude Fable 5 vs Opus 4.8: Benchmarks, Pricing & When to Switch
- Claude Fable 5 vs Opus 5: A Detailed Comparison
- Claude Fable 5: Price, API, Access, Safeguards & Use Cases