LLM prompt caching produkcióban · 60-80%-os költségvágás

Az Anthropic hozta a prompt caching-et 2024-ben. Az OpenAI követte. 2026-ra default minden komoly LLM-providernél. A legtöbb csapat a megtakarítás felét mégis az asztalon hagyja, mert csak a nyilvánvaló dolgot cache-eli. Itt van a négy minta, ami halmozódik.

1. minta · system prompt

A legkönnyebb win. Jelöld a system prompt-ot cache-elhetőnek. Minden következő hívás a cache-elt prefixet újrahasznosítja. Tipikus megtakarítás: 30-50% a teljes token-költségből chatty support-ügynökökön.

2. minta · statikus RAG-kontextus

Ha a RAG-od egy viszonylag stabil korpuszból retrieve-el, a top-5 chunk sok hasonló query-re ugyanaz. Cache-eld ezeket prefix-blokkként. Tipikus megtakarítás: 20-30% az 1. minta tetején.

3. minta · tool-sémák

A tool-definíciók (function-sémák) nagyok és statikusak hívások között. Jelöld cache-elhetőnek. Tipikus megtakarítás: 10-15% ügynöki workloadon sok tool-lal.

4. minta · few-shot példák

Ha a promptod few-shot példákat tartalmaz (klasszifikáció, extrakció), nem változnak hívásonként. Cache. Tipikus megtakarítás: 10-20% extrakció-nehéz pipeline-on.

Két gotcha

• A cache TTL ~5 perc Anthropicon, ~10 perc OpenAI-on. Alacsony-forgalmú rendszerek folyton cache-misst kapnak. Ha burst-ös a forgalom, előmelegítsd háttér keep-alive-val.
• A prompt-caching árazási modell változó · Anthropic ~25% extrát tölt az első write-nál, OpenAI ingyenes. Budgetelj rá.