Eğitim verisinin sınırını yerel bir soruyla yoklayın

Bir öğretmen, ilçesindeki tarihî bir çeşmenin yapım yılını sohbet aracına sorar. Cevap akıcıdır, yıl da kesin bir dille yazılmıştır; ama yanlıştır. Bunun nedenlerinden biri, aracın arkasındaki büyük dil modelinin (yazıyı okuyup sıradaki parçayı tahmin etmeyi öğrenmiş program) çalışma biçiminde saklıdır. Model, eğitim verisi denen devasa bir metin yığınından öğrenir; o yığında az yer tutan konuları ise çoğu zaman daha zayıf bilir. Bu derste kendi ilçenizle küçük bir yoklama yapacak, cevapları resmî sayfayla karşılaştıracak ve sonunda aracın bilgisinin nerede bittiğini kendi gözünüzle göreceksiniz.

Aklınıza bir soru mu takıldı?

Sorunuzu ya da aradığınız konuyu yazın Ders bul

Model, okuduğunun dengesini taşır

Modelin ne bildiği, neyi ne kadar okuduğuna bağlıdır. OpenAI araştırmacılarının 2020 tarihli GPT-3 makalesi, eğitim verisinin büyük bölümünün Common Crawl’dan (internet sayfalarını toplayıp herkese açan, kâr amacı gütmeyen bir arşiv) geldiğini ve verinin kelime sayısıyla yüzde 93’ünün İngilizce olduğunu yazar; geri kalan yüzde 7 diğer dillerdir. Makale bunun bir iyileştirme alanı olduğunu da belirtir.

Daha yeni bir örnek: Meta’nın Llama 3 makalesine göre model yaklaşık 15 trilyon jetonluk (metin parçası; jeton sözlükte) bir veriyle eğitildi ve veri karışımının yaklaşık yüzde 8’i çok dilli jetonlardan oluşuyordu. Makale, bu modelin desteklediği sekiz dili sayar: İngilizce, Almanca, Fransızca, İtalyanca, Portekizce, Hintçe, İspanyolca ve Tayca. Türkçe bu listede yok. Bu, “o model Türkçe bilmez” demek değildir; yalnızca şirketin kendi belgelerinde hangi dillerin hedeflendiğinin açıkça yazdığını gösterir. Başka modellerin dil listesi farklıdır ve değişir; kullandığınız aracın kendi yardım sayfasına bakın.

İnternetin kendisi de dengeli değil

Modeller çoğunlukla internetten beslendiği için, internetteki dengesizlik onlara da yansır. Common Crawl’ın kendi istatistik sayfası, her aylık taramada sayfaların hangi dilde yazıldığını yüzdeyle gösterir. Sayfada görünen en yeni tarama olan CC-MAIN-2026-43’te sayfaların yaklaşık yüzde 42,6’sı İngilizce, yaklaşık yüzde 1,1’i Türkçe olarak etiketlenmiş. Bu sayılar sayfa adedidir, kelime ya da bir modelin gerçek eğitim verisi değildir; üstelik yalnızca internet sayfalarını kapsar ve her ay değişir. Yine de yönü gösterir: Türkçe ve özellikle yerel konular, küçük bir payın içindeki küçük bir paydır.

Bir araştırma makalesi aynı noktayı bilgi düzeyinde söyler. Kalai ve arkadaşlarına göre eğitim verisinde yalnızca bir kez geçen olgularda modelin yanılma oranı, o olguların oranı kadar yüksek beklenir; makaledeki varsayımsal örnekte doğum günü bilgilerinin yüzde 20’si bir kez geçiyorsa, temel modellerin bu tür olguların en az yüzde 20’sinde yanılması beklenir. Sizin ilçenizdeki küçük bir çeşmenin yapım yılı tam böyle bir olgu olabilir.

Yoklamayı üç soruyla kurun

Amaç aracı yargılamak değil, sınırını görmek. Aynı türden üç soru seçin; herkesin açıp doğrulayabileceği olgular olsun.

1. Çok bilinen yer. Türkiye’nin en kalabalık şehrindeki tanınmış bir müzenin adı ve bulunduğu semt.
2. Kendi ilçeniz. İlçenizdeki bir tarihî yapının adı, hangi mahallede olduğu ve yapıldığı yüzyıl.
3. Yabancı bir küçük yer. Başka bir ülkedeki, ilçenizle benzer büyüklükte bir yerleşimde bulunan bir yapının adı ve konumu. Cevabı o ülkenin resmî sayfasından doğrulayacağınızı bildiğiniz bir yer seçin.

Her cevabı bir yere yazın ve yanına üç etiketten birini koyun: doğru, yanlış, doğrulanamadı. Doğrulamayı yalnızca belediye, valilik, kaymakamlık, bakanlık ya da müze sayfası gibi kaynaklarda yapın; başka bir yapay zekâ aracının onayı doğrulama sayılmaz.

Sonucu kontrol edin

1. Her cevabı resmî sayfayla yan yana koyun. “Biliyorum” etiketi taşıyıp yanlış çıkan olguları ayrıca işaretleyin; asıl dikkat edilecek olan onlardır.
2. Üç sütunu karşılaştırın: çok bilinen yerde doğru sayısı, kendi ilçenizde doğru sayısı, yabancı küçük yerde doğru sayısı.
3. Farkı aşırı yorumlamayın. Hata, eğitim verisindeki dengesizlikten ya da olgunun az geçmesinden, ya da sorunun biçiminden kaynaklanabilir; üç soruluk bir deneme nedeni kanıtlamaz, yalnızca sınırı gösterir.
4. Aynı soruyu bir gün sonra yeniden sorun. Cevap değişiyorsa o olguya güvenmeyin; Yapay zekâ cevabını doğrulayın dersindeki adımları uygulayın.

Bir sonraki adım

Araç yerel konuda zayıfsa çözüm, doğru kaynağı ona vermektir. Resmî sayfadaki metni yapıştırıp yalnızca o metinden cevap istemek, aracın kendi hafızasına güvenmekten daha sağlamdır; adımlar için Bir PDF’yi kaynak göstererek özetleyin dersine bakın. Cevabın bilgisinin nereden geldiğini ayırmak için Yanıtın bilgisi nereden geliyor? dersi de işe yarar.

İzleme tavsiyesi: 3Blue1Brown (İngilizce). Bu video dil dengesini anlatmaz; modelin büyük metin yığınından öğrenmesine genel bir bakış sunar.

Kendinizi deneyin

Kaynaklar

• Brown ve diğerleri: Language Models are Few-Shot Learners (GPT-3), 2020 (arXiv:2005.14165)
• Meta: The Llama 3 Herd of Models, 2024 (arXiv:2407.21783)
• Common Crawl: Statistics of Common Crawl Monthly Archives, Distribution of Languages
• Kalai, Nachum, Vempala, Zhang: Why Language Models Hallucinate, 2025 (arXiv:2509.04664)

Kaynak: yzdersleri.com/ders/egitim-verisinin-sinirini-yerel-bir-soruyla-yoklayin/ · Yapay Zeka Dersleri