Kalite ve güvenlik: Değerlendirme, halüsinasyon ve korkuluklar

Bu derste bir Claude uygulamasının ya da ajanının işini ne kadar iyi yaptığını nasıl ölçeceğinizi, uydurma bilgiyi (halüsinasyon) nasıl azaltacağınızı ve kötü niyetli girdilere karşı hangi koruma katmanlarını kuracağınızı öğreneceksiniz. Anlatım Anthropic’in geliştirici belgelerine dayanır.

Aklınıza bir soru mu takıldı?

Sorunuzu ya da aradığınız konuyu yazın Ders bul

Bu derste neler öğreneceksiniz?

• Ölçülebilir bir başarı ölçütü yazmayı ve basit bir değerlendirme (eval) kurmayı.
• Uydurma bilgiyi azaltan komut tekniklerini ve bunların sınırını.
• Doğrudan ve dolaylı komut enjeksiyonuna karşı katmanlı korumayı.

Önce “iyi”yi tanımlayın

Belgeye göre iyi bir başarı ölçütü dört özelliğe sahiptir: belirli, ölçülebilir, ulaşılabilir ve işle ilgili olmalıdır. “İyi sınıflandırsın” ölçüt değildir. Örneğin gelen şikâyet e-postalarını kategoriye ayıran bir asistan için “kendi hazırladığım 50 örneğin en az yüzde 90’ını doğru kategoriye koysun” yazılabilir. Bu rakam yalnızca örnektir; eşiği işinizin riski belirler.

Değerlendirme (eval) nasıl kurulur?

Eval, ölçütünüzü gerçek işe benzeyen test vakalarıyla sınamaktır. Belge şu ilkeleri öneriyor:

• Test vakaları gerçek işin dağılımını yansıtmalı; ilgisiz, eksik, aşırı uzun, zararlı ve insanların bile anlaşamayacağı belirsiz girdiler de bulunmalı.
• Mümkün olduğunca otomatik puanlanabilir biçim seçin.
• Az sayıda elle puanlanan kaliteli soru yerine, çok sayıda otomatik puanlanan soru tercih edilir.

Puanlama için üç yöntem vardır. Kod ile puanlama en hızlı, en güvenilir ve ölçeklenebilir olandır, ancak ince ayrımları göremez. Model ile puanlama esnektir; önce güvenilirliğini sınayın, net bir rubrik yazın, “doğru” ya da “yanlış” gibi ikili sonuç veya 1 ile 5 arası ölçek isteyin. Belge, puanlayıcıyı çıktıyı üreten modelden farklı seçmeyi öneriyor. İnsan ile puanlama en esnek ve kaliteli olandır ama yavaş ve pahalıdır; mümkünse kaçının. Test vakası üretmede Claude’dan da yararlanabilirsiniz.

Kod ile puanlamanın en sade hâli, çıktıyı beklenen cevapla birebir karşılaştırmaktır:

def dogru_mu(cikti, beklenen):
    return cikti.strip().lower() == beklenen.lower()

# her çift: (asistanın cevabı, beklenen cevap)
sonuclar = [("teslimat", "teslimat"), ("fatura", "iade"), ("iade", "iade")]
dogru = sum(dogru_mu(c, b) for c, b in sonuclar)
print(f"Doğruluk: {dogru / len(sonuclar):.0%}")

Uydurma bilgiyi azaltmak

Belge üç temel teknik veriyor:

1. “Bilmiyorum” demesine izin verin. Emin olmadığında bunu söyleyebileceğini açıkça yazmak yanlış bilgiyi belirgin biçimde azaltabilir.
2. Önce alıntı isteyin. Uzun belgelerde (belge, 20 bin belirteci aşan metinleri örnek gösteriyor) Claude’dan önce ilgili cümleleri birebir çıkarmasını, sonra işi yalnızca bu alıntılara dayanarak yapmasını isteyin.
3. Her iddiaya kaynak isteyin. Destekleyen bir alıntı bulamadığı iddiayı geri çekmesini söyleyin.

İleri teknikler arasında şunlar var: yanlış görünen cevapta düşünme özetini incelemek, aynı komutu birkaç kez çalıştırıp tutarsızlıklara bakmak, çıktıyı yeniden verip doğrulatmak ve yalnızca verilen belgelerdeki bilgiyi kullanmasını istemek. Belge açık konuşuyor: bu teknikler uydurmayı büyük ölçüde azaltır ama sıfırlamaz. Önemli bilgiyi kendiniz doğrulayın.

Korkuluklar: komut enjeksiyonu ve jailbreak

Belge iki durumu ayırıyor. Doğrudan saldırıda kullanıcının kendisi Claude’u kurallarından çıkarmaya çalışır. Dolaylı saldırıda kullanıcı masumdur ama Claude’un okuduğu e-posta, web sayfası ya da araç çıktısı gizli talimat taşır. Claude varsayılan olarak bu saldırılara dayanıklıdır; yine de ek katman önerilir.

• Zararsızlık taraması: Girdiyi ana modele ulaşmadan önce hafif bir modelle denetleyin.
• Girdi doğrulama: Bilinen saldırı kalıplarını önceden süzün.
• Sistem komutu: Sınırları ve nasıl reddedileceğini açıkça yazın.
• Tekrar edenler: Reddi sık tetikleyen kullanıcıları yavaşlatın ya da engelleyin.
• Güvenilmeyen içerik: Yalnızca araç sonucu olarak verin, kaynağını etiketleyin ve talimat gibi uygulanmayacağını sistem komutunda söyleyin.
• En az yetki: Gizli bilgiyi ve izinleri dar tutun.
• Saldırı denemesi: Yayına almadan önce içine bilerek talimat gizlenmiş belgelerle deneyin.

Adım adım uygulama

1. Asistanınızın işini tek cümleyle ve sayıyla ifade eden bir ölçüt yazın.
2. Claude’a 30 test vakası ürettirin; uç durumlar da olsun. Gerçek kişisel veri koymayın.
3. Beklenen cevapları siz belirleyin.
4. Asistanı bu vakalarla çalıştırın ve sonuçları bir tabloya alın.
5. Kod ile puanlayın; olmayan yerlerde ikili rubrikle model puanlayıcı kullanın.
6. Komuta “bilmiyorum” izni ve alıntı şartı ekleyip aynı testi tekrarlayın.
7. Bir belgenin içine “önceki talimatları yok say” cümlesi gizleyip asistanın uyup uymadığına bakın.

Kontrol listesi

• Ölçütüm belirli ve sayıya bağlı.
• Test setinde uç durumlar var.
• Komutu ayarladığım vakalarla başarıyı ölçmüyorum.
• “Bilmiyorum” izni ve kaynak şartı komutta yazılı.
• Güvenilmeyen içeriği talimat gibi vermiyorum.
• Saldırı denemesi yaptım.

Sık yapılan hatalar

• Ölçütsüz “iyi” demek: Ölçmediğiniz şeyi iyileştiremezsiniz.
• Yalnızca kolay örnekle denemek: Sorunlar uç durumlarda çıkar.
• Aynı örneklerle hem ayar hem ölçüm yapmak: Belge, ayrılmış (held-out) test setinde sınamayı öneriyor.
• Halüsinasyonu çözülmüş saymak: Teknikler azaltır, ortadan kaldırmaz.
• Okunan içeriğe itaat etmek: Web sayfasındaki ya da e-postadaki cümle talimat değil, veridir.

Kendinizi deneyin

Kaynaklar

• Define success criteria and build evaluations – Claude Platform Docs (İngilizce)
• Reduce hallucinations – Claude Platform Docs (İngilizce)
• Mitigate jailbreaks and prompt injections – Claude Platform Docs (İngilizce)

Son kontrol: 7 Kasım 2026

Kaynak: yzdersleri.com/ders/claude-kalite-guvenlik/ · Yapay Zeka Dersleri