Uzun belgede ortadaki bilgiyi sınayın: yerini değiştirin

Elinizde otuz sayfalık bir rapor var ve yapay zekâya “şu maddeyi bul” diyorsunuz. Cevap yanlış ya da “bulamadım” geliyor, oysa madde raporun içinde. Araştırmacılar bu durumun bir nedenini ölçtü: uzun bir girdide aranan bilgi ortada kaldığında modeller onu daha kötü kullanabiliyor. Bu derste kendi aracınızda, kendi uzun belge işleriniz için küçük bir sınama kurup bunu göreceksiniz.

Aklınıza bir soru mu takıldı?

Sorunuzu ya da aradığınız konuyu yazın Ders bul

Sorun

Nelson Liu ve arkadaşlarının “Lost in the Middle” (ortada kaybolma) başlıklı araştırması, Transactions of the Association for Computational Linguistics dergisinde yayımlandı. Araştırma, modellerin ilgili bilgi girdinin başında ya da sonunda olduğunda en iyi performansı gösterdiğini, bilgi ortada olduğunda performansın belirgin biçimde düştüğünü bildiriyor; bu, uzun girdi için tasarlanmış modellerde bile görülmüş. Araştırma 2023 tarihlidir ve modeller değişti; bugünkü aracınız farklı davranabilir. Bu yüzden genel kuralı ezberlemek yerine kendi aracınızı sınamak doğru yoldur.

Anthropic’in belgesi de benzer bir uyarı yapar: bağlam penceresinin (modelin cevap yazarken önünde gördüğü yazı alanı) büyük olması daha fazla bağlamın otomatik olarak daha iyi olduğu anlamına gelmez; girdi uzadıkça doğruluk ve hatırlama kötüleşebilir, belge buna “bağlam çürümesi” (context rot) diyor.

1. Sınama metnini hazırlayın

Gerçek ve gizli bir belge kullanmayın. Yapay zekâya uzun, sıradan bir kurgu metin yazdırın: örneğin kurgusal bir firmanın 25 maddelik iç düzenlemesi. Sonra tek bir zararsız, kurgusal bilgi seçin: “Kırmızı klasörün anahtarı Zeynep’tedir.” Bu cümleyi aynı metne üç farklı yere koyacaksınız. Cümle metinde bir kez geçecek, başka hiçbir yerde olmayacak.

2. Üç kopya oluşturun

1. A kopyası: cümle metnin ilk üç satırında.
2. B kopyası: cümle metnin tam ortasında, uzun bir bölümün içinde.
3. C kopyası: cümle metnin son üç satırında.
4. Her kopyayı ayrı, yeni bir sohbette kullanın. Aynı sohbette denerseniz önceki kopya cevabı etkiler.

3. Aynı soruyu sorun

4. Sonucu kontrol edin

1. Her kopya için yanıtı not edin: doğru, yanlış, “metinde yok”. Alıntıladığı cümle metinde gerçekten var mı, kendiniz bulun.
2. Aynı sınamayı her kopya için en az üç kez tekrarlayın. Tek deneme rastlantı olabilir; üç denemede tutarlı bir fark görürseniz anlamlıdır.
3. Sonuçlar eşitse aracınız bu uzunlukta ortayı iyi kullanıyor demektir. Ama bunu her uzunluk ve her belge için doğru saymayın; metni uzatıp yeniden deneyin.
4. Ortadaki kopya kaybederse belgeyi bölümlere ayırın ve her bölüme ayrı soru sorun. Soruyu belgeden sonra yazmak ve önce alıntı istemek için bu dersteki adımları da deneyin.
5. Aracın verdiği her cevabı, özellikle sayıları ve tarihleri, belgedeki asıl satırla karşılaştırın.

Sık yapılan hata

En sık hata, tek bir denemeden kural çıkarmaktır. Bir kez doğru cevap gelmesi aracın her zaman ortayı iyi okuduğunu göstermez; bir kez yanlış gelmesi de ortayı hiç okuyamadığını. İkinci hata, sınamayı gerçek belgeyle yapmaktır: sözleşme, rapor, öğrenci listesi gibi belgeleri sınama için yüklemeyin. Üçüncü hata, araştırmanın sonucunu bugünkü bütün modellere aynen uygulamaktır; makale sizin aracınızı değil, sınanan modelleri anlatır.

Bir sonraki adım

Gerçek işinizde sık kullandığınız belge uzunluğuna yakın bir kurgu metinle sınamayı yineleyin ve sonucu “benim aracım, benim uzunluğum” başlığıyla kaydedin. Ortadaki bilgi kaçıyorsa uzun belgelerde şu alışkanlığı edinin: belgeyi bölün, soruyu sona yazın, cevaptan önce ilgili cümleyi alıntılatın ve alıntıyı belgede kendiniz bulun. Terim olarak da halüsinasyon (yapay zekânın olmayan bir şeyi var gibi yazması) sözlük maddesine göz atın.

İzleme tavsiyesi: IBM Technology (İngilizce)

Kaynaklar

• Liu ve ark.: Lost in the Middle: How Language Models Use Long Contexts (arXiv 2307.03172, TACL 2023) (İngilizce)
• Anthropic Dokümantasyon: Context windows (İngilizce; değişebilir, güncel sayfayı kontrol edin)

Kaynak: yzdersleri.com/ders/uzun-belgede-ortadaki-bilgiyi-sinayin-yerini-degistirin/ · Yapay Zeka Dersleri