Kıyaslama puanını sorgulayın: test soruları sızmış mı?

Yeni bir model çıktığında tanıtımda tablolar görürsünüz: şu testte yüzde 90, bu testte yüzde 85. Bu rakamlara kıyaslama puanı (modelin önceden hazırlanmış bir soru setindeki başarısı) diyoruz. Rakam etkileyicidir ama tek başına sizin işinizde ne kadar işe yarayacağını söylemez. Bu derste puanı nasıl sorgulayacağınızı ve test sorularının eğitim verisine karışmasının neden önemli olduğunu öğreneceksiniz.

Aklınıza bir soru mu takıldı?

Sorunuzu ya da aradığınız konuyu yazın Ders bul

Sorun

Bir modelin kıyaslama puanı yüksek olabilir ama bu, sizin e-postalarınızı ya da raporlarınızı iyi yazacağı anlamına gelmez. Ayrıca bir sorun daha var: test soruları ve cevapları internette bulunuyorsa, model bunları eğitim (modelin örneklerden kalıbı öğrendiği hazırlık dönemi) sırasında görmüş olabilir. Alanda buna kıyaslama verisi sızıntısı (benchmark data contamination) denir.

Cheng Xu ve arkadaşlarının derleme makalesi bu durumu şöyle tanımlıyor: modelin eğitim verisi, değerlendirmede kullanılan kıyaslama içeriğini istemeden de olsa içeriyorsa model test materyaline maruz kalmış olur. Yazarlar, bunun değerlendirme sırasında yanlış ya da güvenilmez sonuçlara yol açabildiğini ve gerçek dünyadaki değerlendirmelere duyulan güveni zedeleyebildiğini belirtiyor.

1. Önce neyin ölçüldüğünü ayırın

Kıyaslama, modele sabit bir soru seti verip cevapları puanlama yöntemidir. Bu set matematik soruları, kod görevleri ya da genel bilgi soruları olabilir. Puan, o setin ölçtüğü şey için anlamlıdır. Mektup yazmayı ölçmeyen bir testin yüksek puanı, mektup yazma becerisini göstermez. Bu fikri daha önce ürün iddialarını kavramlarla sınama dersinde de görmüştünüz; burada onu rakamlara taşıyoruz.

2. Sızıntıyı kavrayın

Modelin genelleme (daha önce görmediği örneklerde de iyi çalışma) gücünü ölçmek için test sorularının eğitimde hiç görülmemiş olması gerekir. Sorular eğitim verisine karışırsa puan, anlamaktan çok hatırlamayı ölçebilir. Dışarıdan bakan biri hangi sorunun eğitime karıştığını çoğu zaman göremez; bu yüzden puanı sorgulamak ve kendi testinizi kurmak gerekir.

3. Dört soruyla sorgulayın

1. Puanı kim ölçtü: modeli yapan şirket mi, bağımsız bir kurum mu? Ölçüm yöntemi açıklanmış mı?
2. Test soruları gizli mi tutuluyor, yoksa herkese açık mı? Herkese açıksa sızıntı ihtimali daha yüksektir; sonucu bir kanıt değil bir ipucu sayın.
3. Test sizin işinize benziyor mu? Hukuki metin yazıyorsanız bir bulmaca testinin yüksek puanı sizi ilgilendirmeyebilir.
4. Puan kaç denemeden çıktı, hangi ayarla alındı? Tek denemenin sonucu rastlantı olabilir.

4. Kendi mini sınavınızı kurun

En güvenilir ölçü, kendi işinizden alınmış görevlerdir. On görev seçin: gerçek işinizden, ama kişisel bilgiden arındırılmış. Her görev için “iyi cevap neye benzer” diye iki satırlık bir ölçüt yazın. Aynı görevleri iki modelde deneyin ve 0, 1, 2 üzerinden puanlayın. Soruları internete koymazsanız, test sorularınız kimsenin eğitim verisine karışmaz.

5. Sonucu kontrol edin

1. Puanlamayı cevaplara bakarak siz yapın; modelden kendi cevabını puanlamasını isterseniz yanıltıcı sonuç alırsınız.
2. Her görevi iki ya da üç kez çalıştırın. Sonuç her seferinde değişiyorsa ortalamasına bakın.
3. Tanıtım puanıyla kendi puanınız ayrışıyorsa kendi puanınıza güvenin, ama örneklem küçük olduğu için sonucu kesin hüküm saymayın.
4. Puan tablosunu kaydedin ve model sürümünü yazın; sürüm değişince sonuç da değişebilir, ayrıca kontrol edin.

Sık yapılan hata

En sık hata, “yüzde 90 puanı olan model işimin yüzde 90’ını yapar” demektir. Puan başka bir görev kümesinin ölçüsüdür. İkinci hata, sızıntıyı kesinmiş gibi anlatmaktır: bir puanın yüksek olması sızıntı kanıtı değildir. Sızıntı bir ihtimaldir ve puanı yorumlarken akılda tutulur. Üçüncü hata, kendi mini sınavınızı gerçek müşteri ya da çalışan verisiyle kurmaktır.

Bir sonraki adım

Önümüzdeki hafta bir yapay zekâ haberi ya da tanıtımı gördüğünüzde, içindeki bir kıyaslama puanını seçin ve yukarıdaki dört soruyu not defterinize yazarak cevaplamaya çalışın. Cevap bulamadığınız soruların sayısı, iddianın ne kadar şeffaf olduğunu gösterir. Cevapların kaynağını nasıl ayıracağınızı da dört kaynak dersinden okuyabilirsiniz.

İzleme tavsiyesi: AI Explained (İngilizce)

Kaynaklar

• Xu ve ark.: Benchmark Data Contamination of Large Language Models: A Survey (arXiv 2406.04244) (İngilizce)
• Anthropic Dokümantasyon: Context windows (İngilizce; modelin eğitildiği veri ile bağlam penceresinin farkı için)

Kaynak: yzdersleri.com/ders/kiyaslama-puanini-sorgulayin-test-sorulari-sizmis-mi/ · Yapay Zeka Dersleri