Komut sınama tablosu: iki komutu on mesajla puanlayın
- Okuma süresi: 4 dk
- Kod bilgisi gerekmez
Bir komutu (yapay zekâya yazdığınız istek) iki kez denediniz, ikisinde de iyi çıktı ve “tamam” dediniz. Üçüncü denemede yanlış çıktı. Güvenilir olup olmadığını anlamanın yolu hissetmek değil, ölçmektir. Bu derste bir komut sınama tablosu kuracaksınız: on mesajla iki komutu yan yana sınayıp puanlayacaksınız.
Aklınıza bir soru mu takıldı?
Sorun: “İyi geldi” ölçü değildir
Anthropic’in (Claude adlı aracı yapan şirket) geliştirici belgelerinde başarı ölçütlerinin özel ve ölçülebilir olması gerektiği anlatılır: “iyi performans” yerine, örneğin “doğru duygu sınıflandırması” gibi. Aynı sayfa, test sorularının gerçek işinizi yansıtmasını ve kenar durumları da (alakasız ya da çok kısa girdi, belirsiz örnek gibi) içermesini öneriyor. Ayrıca az sayıda mükemmel notlanmış soru yerine, otomatik notlanabilen daha çok sorunun daha değerli olduğunu söyler. Burada aynı mantığı elle ve küçük ölçekte uygulayacağız.
Örnek iş: bir mağazanın müşteri mesajlarını dört etiketten birine ayırmak. Etiketler: ŞİKÂYET, SORU, TEŞEKKÜR, DİĞER. Tüm mesajlar kurgusaldır.
Önce ölçün
İki komuttan hangisinin daha çok doğru etiket vereceğini şimdi tahmin edin ve yazın: Komut ___. On mesajdan kaçını doğru bulacağını da yazın: ___ / 10.
1. Ölçütü tek cümleyle yazın
Ölçütümüz şu: On mesajın en az dokuzu, yalnızca tek etiket kelimesi yazılarak doğru etiketlenmeli. Hem doğruluğu hem biçimi ölçüyor; böylece “doğru ama uzun uzun açıklamış” cevap tam puan almıyor.
2. On sınama mesajını ve doğru etiketlerini yazın
Cevap anahtarını yapay zekâya sormadan önce, elle ve kural belirleyerek yazın. Kural: mesajda hem teşekkür hem sorun varsa ŞİKÂYET yazılır. Kenar durumlar 6, 7, 9 ve 10 numaralı mesajlardır.
| No | Kurgusal mesaj | Beklenen etiket |
|---|---|---|
| 1 | Siparişim 5 gündür gelmedi, kimse de dönmüyor. | ŞİKÂYET |
| 2 | Kargo ücreti ne kadar? | SORU |
| 3 | Paketi aldım, çok memnun kaldım, eline sağlık. | TEŞEKKÜR |
| 4 | Ürün kutusundan kırık çıktı. | ŞİKÂYET |
| 5 | Hafta sonu açık mısınız? | SORU |
| 6 | Teşekkürler ama beden uymadı, değişim yapmak istiyorum. | ŞİKÂYET |
| 7 | 👍 | DİĞER |
| 8 | Fiyat listesi var mı? Bir de siparişim neden iptal oldu? | SORU |
| 9 | asdfgh | DİĞER |
| 10 | Elinize sağlık ama paket bir hafta geç geldi. | ŞİKÂYET |
3. İki komutu yazın
Kopyalayıp deneyin
Komut A: Şu müşteri mesajını sınıflandır: [mesaj]
Kopyalayıp deneyin
Komut B: Bir mağazanın müşteri mesajlarını etiketliyorsun. Etiketler yalnızca şunlardır: ŞİKÂYET, SORU, TEŞEKKÜR, DİĞER. Kural: mesajda hem teşekkür hem sorun varsa ŞİKÂYET yaz. Anlamsız ya da yalnızca simge içeren mesajlara DİĞER yaz. Cevabında yalnızca etiket kelimesini yaz, başka hiçbir söz yazma. Mesaj: [mesaj]
Her mesajı her komutla, her seferinde yeni bir sohbette gönderin; böylece önceki cevaplar sonrakini etkilemez.
4. Tabloyu doldurun
| No | Beklenen | A: etiket | A: puan | B: etiket | B: puan |
|---|---|---|---|---|---|
| 1 | ŞİKÂYET | ||||
| 2 | SORU | ||||
| 3 | TEŞEKKÜR | ||||
| 4 | ŞİKÂYET | ||||
| 5 | SORU | ||||
| 6 | ŞİKÂYET | ||||
| 7 | DİĞER | ||||
| 8 | SORU | ||||
| 9 | DİĞER | ||||
| 10 | ŞİKÂYET |
Puan kuralı: Cevap yalnızca doğru etiket kelimesiyse 1, etiket doğru ama fazladan açıklama varsa 0,5, yanlışsa 0. En sonda iki sütunu toplayın. Fark en az iki puan değilse komutlardan birinin kazandığını söylemeyin; on mesaj küçük bir örneklemdir. O durumda on mesaj daha ekleyin.
Sonucu kontrol edin
- Cevap anahtarındaki etiketleri değiştirmeyin. Sonuç hoşunuza gitmedi diye anahtarı güncellemek, ölçümü bozar.
- Yanlış çıkan satırlara bakın. Komut A, kenar durumlarda (6, 7, 9, 10) mi yanıldı yoksa kolay mesajlarda da mı? Kenar durum hatası, komuta bir kural eklemenin gerektiğini gösterir.
- Kazanan komutu aynı on mesajla bir kez daha çalıştırın. Sonuçlar değişiyorsa komut tutarlı değildir; bu da ölçülmesi gereken ayrı bir sonuçtur.
- Kendi işinizdeki gerçek örneklerle bu tabloyu yineleyin, ama gerçek müşteri mesajlarını araca yazmayın (aşağıdaki uyarıya bakın).
Sonra ölçün
Önce yazdığınız tahminle sonucu karşılaştırın: tahmininiz ___ idi, tablo ___ gösterdi. İki komutun toplam puanını ve tutarlılığını (aynı mesajda iki denemede aynı etiket mi?) bir yere kaydedin. Komutlarınızı değiştirdikçe tabloyu yeniden doldurun; böylece her değişikliğin işe yarayıp yaramadığını görürsünüz.
Sık yapılan hata
İlk hata, tabloyu kazananı ilan etmek için kullanmaktır. İki komut arasındaki fark bir puansa, bu şans eseri de olabilir. İkinci hata, yalnızca kolay örnekler seçmektir; kenar durumlar komutların gerçekte ayrıştığı yerdir. Üçüncü hata, cevap anahtarını yapay zekâya hazırlatıp kontrol etmemektir; anahtarı kendiniz yazın ya da en azından tamamını okuyun.
Gizlilik uyarısı
Gerçek müşteri mesajlarını, adları, telefonları ya da sipariş numaralarını komut denemesine yazmayın. Mesajları kurgusallaştırın ya da kişisel bilgileri “MÜŞTERİ A”, “[TELEFON]” gibi yer tutucularla (gerçek bilginin yerine geçen etiket) değiştirin. Anthropic’in gizlilik sayfasına göre tüketici planlarında “model iyileştirme” ayarı açıksa sohbetler modeli geliştirmek için kullanılabilir; ayarınıza bakın. KVKK rehberi de kişisel verilerin yapay zekâ sistemleriyle paylaşılmasından kaçınılmasını öğütler. Bu ders genel bilgidir; son kontrol sizdedir.
Bir sonraki adım
Aynı yöntemi başka bir işte deneyin. Tablo formülü yazdırıyorsanız tablo formülünü yapay zekâya yazdırmak ve sonucu sınamak dersi sınama mantığını Excel tarafında gösterir. Yapay zekânın size hep hak vermesinden şüpheleniyorsanız dalkavukluk eğilimi dersine bakın. Komutun kendisi için istem (prompt) maddesini okuyabilirsiniz.
Videoyu kaynağında açın (YouTube): Evaluate prompts in the Anthropic Console (Anthropic)
İzleme tavsiyesi: Anthropic (İngilizce)
Not: Video, Anthropic’in geliştirici konsolundaki otomatik test aracını gösterir. Konsolu kullanmanıza gerek yok; amaç, aynı komutu birden çok örnekte sınama ve çıktıları yan yana koyma fikrini görmektir.
Kendinizi deneyin
İki komutu karşılaştırırken aşağıdakilerden hangisi doğru yoldur?
Kaynaklar
- Claude Docs: Başarı ölçütleri tanımlayın ve değerlendirmeler kurun (Define success criteria and build evaluations) (İngilizce)
- Anthropic: Evaluate prompts in the Anthropic Console (video) (İngilizce)
- Anthropic Gizlilik Merkezi: Verilerim model eğitiminde kullanılıyor mu? (İngilizce; ayarlar değişebilir)
Kaynak: yzdersleri.com/ders/komut-sinama-tablosu-iki-komutu-on-mesajla-puanlayin/ · Yapay Zeka Dersleri
Dersi bitirdiniz mi?
İşaretlerseniz menüde ve ilerleme çubuğunda görünür. Bu bilgi yalnızca sizin tarayıcınızda saklanır.
Bu ders işinize yaradı mı?
Anonim oydur; kişisel veri toplanmaz.
