İstem önbelleği nedir? Uzun belgeyle hızlı ve tasarruflu çalışın

Murat Bey bir lojistik şirketinde kalite sorumlusu. Ekibi, uzun bir tedarikçi sözleşmesini şirketin kendi iç asistanına yüklüyor. Bu asistan, bir yapay zekâ sağlayıcısının API’sine (uygulama programlama arayüzü, application programming interface) bağlı çalışıyor. Ekip gün boyu aynı belgeye farklı sorular soruyor: Ceza maddesi nerede, teslim süresi ne, fesih şartı hangisi? Murat Bey bir şey fark ediyor. İlk soru geç yanıtlanıyor, peş peşe gelen sorular daha çabuk. Öğle arasından dönünce ilk soru yine yavaş.

Bunun nedeni istem önbelleği (prompt caching). Bu derste mekanizmayı kod yazmadan anlayacaksınız. Önbelleğe neyin girdiğini ve ne kadar kaldığını Anthropic ile OpenAI’ın resmî belgelerinden öğreneceksiniz. Son olarak kurum içi kullanımda gizlilik açısından hangi soruları sormanız gerektiğini çıkaracaksınız.

Aklınıza bir soru mu takıldı?

Sorunuzu ya da aradığınız konuyu yazın Ders bul

Bu derste neler öğreneceksiniz?

• İstem önbelleğinin aynı başlangıç kısmının yeniden işlenmesini nasıl önlediğini kendi cümlelerinizle açıklamak.
• Önbelleğe neyin girdiğini ve hangi değişikliğin onu bozduğunu bir örnek üzerinde göstermek.
• Anthropic ve OpenAI belgelerine göre önbelleğin ne kadar süre kaldığını karşılaştırmak.
• Kurum içi kullanım için teknik ekibe ya da sağlayıcıya sorulacak üç gizlilik sorusunu yazmak.

Önbellek ne yapar, yanıt neden hızlanır?

Dil modeli iki istek arasında hiçbir şey hatırlamaz. Bu yüzden uygulama her yeni soruda sistem talimatını, belgeyi, önceki mesajları ve yeni soruyu baştan gönderir. Önbellek olmasa model bu uzun metni her seferinde yeniden işler.

İstem önbelleği, isteğin başındaki değişmeyen kısmı, yani öneki (prefix), işlenmiş hâliyle kısa bir süre saklar. Sonraki istek aynı önekle başlarsa sistem bu kısmı yeniden hesaplamaz, kaldığı yerden devam eder. Yalnızca sona eklenen yeni soru baştan işlenir.

Hızlanma buradan gelir. Anthropic, önbellekten okunan öneklerin yanıtın ilk parçasının gelme süresini (time to first token) kısalttığını, bunun özellikle uzun belgelerde belirgin olduğunu yazıyor. OpenAI de yanıt başlamadan önceki işlemin kısaldığını söylüyor. Ancak her isteğin önbellekten yararlanacağını garanti etmiyor.

Maliyetin düşmesinin nedeni de aynı. Her iki şirket de önbellekten okunan metin parçalarını (token) normal girdiden daha düşük birim maliyetle hesaplıyor. Anthropic’te önbelleğe ilk yazma normal girdiden daha pahalı, okuma ise çok daha ucuz. Yani tasarruf, aynı önek tekrar tekrar kullanıldığında ortaya çıkar. Fiyatlar hesabınıza ve modele göre değişir; güncel tabloyu sağlayıcının kendi sayfasından kontrol edin.

Bir noktayı karıştırmayın: Önbellek yanıtı değiştirmez. Anthropic, önbellekli ve önbelleksiz isteğin aynı yanıtı ürettiğini belirtiyor. Önbellek bir hafıza değil, yalnızca aynı metni yeniden işlemeyi atlayan bir kısayoldur.

Önbelleğe ne girer, ne kadar kalır?

Anthropic’te önbellek şu sırayla kurulur: araç tanımları, sistem talimatı, mesajlar. Metin, görsel ve belgeler bu kapsama girer. OpenAI’da da geliştirici talimatları, araç tanımları ve konuşma geçmişi önbelleğe alınabilir.

Eşleşme birebir olmalıdır. Önekte tek bir şey değişirse o noktadan sonrası yeniden hesaplanır. Anthropic’e göre araç tanımlarını değiştirmek önbelleğin tamamını, bir görsel ekleyip çıkarmak mesaj kısmını bozar. Claude Code belgesi, her modelin kendi önbelleği olduğunu, model değiştirince her şeyin yeniden işlendiğini de ekliyor. Ayrıca iki şirkette de belli bir uzunluğun altındaki istemler önbelleğe alınmaz. Bu eşik modele göre değişir.

Süreler resmî belgelerde şöyle:

• Anthropic: Varsayılan ömür 5 dakikadır. Önbellek her kullanıldığında ek maliyet olmadan tazelenir. Daha uzun ara gerekiyorsa 1 saatlik seçenek vardır; bu seçenekte önbelleğe yazma maliyeti daha yüksektir.
• OpenAI: Bellek içi saklamada kayıtlar genellikle 5–10 dakikalık hareketsizlikten sonra düşer, en geç bir saat içinde silinir. Uzatılmış saklama seçeneği kayıtları 24 saate kadar tutabilir. Hangisinin varsayılan olduğu modele ve kuruluşun ayarına göre değişir.

Murat Bey’in öğle arası örneği tam olarak budur. Ara, önbelleğin ömründen uzun sürdüğü için ilk soru belgeyi yeniden işletir.

Kurum içi kullanımda gizlilik ne demek?

Önbellek hız ve maliyet aracıdır ama verinin nerede ve ne kadar tutulduğu sorusunu da beraberinde getirir. Resmî belgelerde öne çıkan bilgiler şunlar:

• Kuruluşlar arası paylaşım yok: Anthropic’e göre farklı kuruluşlar, aynı istemi gönderseler bile önbelleği asla paylaşmaz. Claude API’de ayrım çalışma alanı (workspace) düzeyindedir. OpenAI da önbelleğin kuruluşlar arasında paylaşılmadığını ve bölgesel işleme sınırlarını aşmadığını yazıyor.
• Kurum içinde ortak kullanım: Claude Code belgesine göre bu sınırların içinde aynı model ve aynı önekle gelen iki istek aynı önbelleği okuyabilir. Birimlerin verisini ayrı tutmak istiyorsanız, ayrımın hangi düzeyde yapıldığını teknik ekibinize sorun.
• Ne saklanıyor: Anthropic, istemlerin ve yanıtların ham metnini saklamadığını söylüyor. Önbellekte modelin ara hesap verisi olan anahtar-değer (key-value, KV) temsilleri ve şifreleme özetleri (cryptographic hash) tutulur. Bunlar yalnızca bellekte kalır, kalıcı depoya yazılmaz ve süre dolunca kısa sürede silinir. OpenAI ise şifrelenmiş anahtar-değer verilerinin grafik işlemciye (graphics processing unit, GPU) bağlı yerel depolamada tutulabileceğini belirtiyor.
• Sıfır veri saklama: Anthropic, istem önbelleğini sıfır veri saklama (Zero Data Retention, ZDR) anlaşmasına uygun özellikler arasında sayıyor. Bu anlaşma kendiliğinden gelmez; kuruluş bazında ayrıca açılır. OpenAI’da bu anlaşması olan kuruluşlar varsayılan olarak bellek içi saklamayı kullanır.

Önbellek süresi ile sağlayıcının genel veri saklama kuralları ayrı konulardır. Önbellek dakikalar içinde düşse bile istek kayıtları başka bir kurala bağlı olabilir. Bu yüzden ikisini ayrı ayrı sorun.

Adım adım uygulama

1. Sık tekrarlanan bir iş seçin; örneğin aynı yönetmeliğe gün boyu soru sorulması. Tamam sayılır: İşi ve belgenin adını tek cümleyle yazdınız.
2. İsteği üç katmana ayırın: hiç değişmeyen (talimat, belge), arada değişen (proje bilgisi), her seferinde değişen (soru, tarih, kişi adı). Tamam sayılır: Her parça bir katmana yerleşti.
3. Sırayı kontrol edin. Değişmeyen içerik başta, değişen içerik sonda olmalı. Tamam sayılır: Başta tarih, saat ya da kişiye özel bilgi kalmadı.
4. Bekleme süresini not edin. Sorular arasında genellikle kaç dakika geçiyor? Bu süre önbelleğin ömründen uzunsa teknik ekibe daha uzun saklama seçeneğini sorun. Tamam sayılır: Tipik ara süresini ve sağlayıcının varsayılan ömrünü yan yana yazdınız.
5. Üç gizlilik sorusunu teknik ekibe ya da sağlayıcıya iletin: ayrım düzeyi, saklanan veri ve süresi, sıfır veri saklama durumu. Tamam sayılır: Her soru için yazılı bir yanıt ve dayandığı resmî sayfa elinizde.
6. Ölçüm isteyin. API, her yanıtta önbelleğe yazılan ve önbellekten okunan metin parçası sayısını bildirir. Teknik ekipten bu iki değeri göstermesini isteyin. Tamam sayılır: Tekrarlanan sorularda okunan miktar sıfırdan büyük.

Sık yapılan hatalar

• Başa değişken bilgi koymak: Belgenin önüne her istekte o anın saatini ya da kullanıcı adını eklemek öneki değiştirir; önbellek hiç okunmaz.
• Önbelleği hafıza sanmak: Model sizi ya da önceki konuşmayı hatırlamaz. Önbellek yalnızca aynı metni yeniden işlemeyi atlar, yanıtın içeriğini değiştirmez.
• Kısa ömrü tek güvence saymak: Önbelleğin dakikalar içinde düşmesi, isteklerin başka yerde hiç tutulmadığı anlamına gelmez. Genel veri saklama kuralını ayrıca okuyun.

Kendinizi deneyin

Kaynaklar

• Prompt caching – Claude Platform Docs (İngilizce)
• How Claude Code uses prompt caching – Claude Code Docs (İngilizce)
• API and data retention – Claude Platform Docs (İngilizce)
• Prompt caching – OpenAI API Docs (İngilizce)
• Prompt Caching in the API – OpenAI (İngilizce)

Son kontrol: 15 Kasım 2026. Bu bilgi 15.11.2026 tarihli kaynaklara dayanır; durum değişebilir.

Kaynak: yzdersleri.com/ders/istem-onbellegi-prompt-caching-nedir/ · Yapay Zeka Dersleri