Transformer 2017 ve dil modelleri

Bugünkü büyük dil modellerinin birçoğu, 2017’de yayımlanan bir makalede tanıtılan yapıya dayanır. Bu ders, o yapının ne olduğunu ve bir dil modelinin gerçekte ne yaptığını anlatır.

Aklınıza bir soru mu takıldı?

Sorunuzu ya da aradığınız konuyu yazın Ders bul

Bu derste neler öğreneceksiniz?

• Transformer makalesinin neyi önerdiğini
• Dikkat mekanizmasının ne işe yaradığını
• Dil modelinin aslında ne yaptığını
• Bu bilgiyle asistanı nasıl daha iyi kullanabileceğinizi

12 Haziran 2017: Attention Is All You Need

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Lukasz Kaiser ve Illia Polosukhin, 12 Haziran 2017’de arXiv adlı ön baskı sitesine Attention Is All You Need (Tek İhtiyacınız Dikkat) başlıklı bir makale yükledi. Makale, yalnızca dikkat mekanizmasına dayanan yeni bir yapı önerdi: Transformer. Önceki yapılar tekrarlayan ya da evrişimli bileşenlere dayanıyordu; yeni yapı ikisini de kullanmıyordu.

Makalenin sınadığı iş sohbet değil, çeviriydi. İngilizceden Almancaya WMT 2014 çeviri görevinde 28,4 BLEU puanı elde edildi; yazarlara göre bu, birden çok modelin birleştirildiği sistemler dahil önceki en iyi sonuçların 2 puandan fazla üstündeydi. İngilizceden Fransızcaya aynı yarışmada, sekiz GPU üzerinde 3,5 günlük eğitimle 41,8 BLEU puanına ulaşıldı. Yazarlar yapının daha hızlı eğitilebildiğini de bildirdi. BLEU, makine çevirisinin kalitesini ölçmek için kullanılan bir puandır.

Makalenin öne çıkan yanı yalnızca puan değildi. Yazarlara göre yeni yapı, işlemlerin aynı anda yapılabilmesi bakımından önceki yapılardan daha elverişliydi ve eğitimi daha kısa sürüyordu. Bir önceki derste gördüğünüz grafik işlemciler paralel iş yapmakta güçlüydü; bu yüzden işlemlerin aynı anda yapılabilmesi önemliydi.

Dikkat mekanizması nedir?

Google’ın makine öğrenmesi kursuna göre öz-dikkat, her sözcük için şunu sorar: metindeki diğer sözcükler bu sözcüğün yorumunu ne kadar etkiliyor? Kursun örneğinde “Hayvan sokağı geçmedi çünkü o çok yorgundu” benzeri bir cümlede “o” sözcüğü için model, “sokak”tan çok “hayvan”a ağırlık verir. Yani model, bir sözcüğün anlamını çevresindeki sözcüklere bakarak belirler.

Aynı kursa göre Transformer’lar, dil modeli uygulamalarının birçoğunda en gelişmiş yapıdır. Tam bir Transformer, girdi metnini ara bir temsile çeviren bir kodlayıcı ve bu temsili çıktı metnine çeviren bir kod çözücüden oluşur. Yalnızca kodlayıcıdan ya da yalnızca kod çözücüden oluşan türleri de vardır.

Kodlayıcı ve kod çözücü yapısını bir çeviri örneğiyle düşünün. Kodlayıcı Türkçe cümleyi okuyup ara bir temsil üretir. Kod çözücü bu temsili alıp İngilizce cümleyi birim birim yazar. Makalenin sınadığı iş de buydu. Girdiyi ve çıktıyı bu iki parçanın hangisinin üstlendiği, yapının türüne göre değişir.

Dil modeli ne yapar?

Aynı kursa göre büyük bir dil modeli, bir birim ya da birim dizisini tahmin eder. Bu birime “jeton” (token) denir; bir sözcük, sözcüğün bir parçası ya da tek bir karakter olabilir. Daha önceki yöntemlere göre bu modellerin üstünlüğü, daha çok parametreye ve daha geniş bağlama sahip olmalarından gelir.

Kısacası model, yazdıklarınıza bakarak devamında ne gelebileceğini kestirir. OpenAI’ın ChatGPT duyurusu da modelin inandırıcı görünen ama yanlış cevaplar verebildiğini belirtir. Akıcılık, doğruluk değildir.

Bugün sizin için ne anlama geliyor?

Arama özelliği kapalıyken bir asistan, size cevap verirken bir veri tabanında arama yapmaz; metnin olası devamını kurar. Bu yüzden kaynak ve tarih gibi kesin bilgileri kontrol etmeniz gerekir. Öte yandan dikkat mekanizması sayesinde asistan, uzun bir metindeki bağlantıları yakalayabilir: “bu” ya da “o” dediğiniz şeyin ne olduğunu çoğu durumda doğru bulabilir; ama yanılabilir.

Bu bilgiyle komutlarınızı iyileştirebilirsiniz. Belirsiz zamirler yerine adları yazın. Uzun bir metinde bir cümlenin neye gönderme yaptığı karışıksa, o cümleyi açıkça yeniden yazın.

Adım adım uygulama

1. İki kişinin geçtiği ve zamir ya da iyelik eki içeren bir cümle seçin.
2. Asistana cümlede kimden söz edildiğini sorun.
3. Cevabı kendi okumanızla karşılaştırın.
4. Cümleyi, zamirleri adlarla değiştirerek yeniden yazın.
5. Yeni cümleyle aynı soruyu tekrarlayıp belirsizliğin kalktığını görün.

Kontrol listesi

• Transformer makalesinin tarihini ve ana fikrini söyleyebiliyorum
• Dil modelinin devamı kestirdiğini anlıyorum
• Zamirlerin belirsiz olduğu cümleleri açık yazıyorum
• Asistanın verdiği kesin bilgileri kaynaktan kontrol ediyorum

Sık yapılan hatalar

• Transformer’ı ChatGPT’nin eş anlamlısı sanmak; makale 2017’de çeviri sonuçlarıyla yayımlandı, ChatGPT ise 2022’de çıktı
• Dil modelinin bir veri tabanında arama yaptığını varsaymak
• Akıcı cevabı doğru cevap saymak
• Belirsiz zamirlerle uzun komutlar yazmak

Kendinizi deneyin

Kaynaklar

• Vaswani ve ark.: Attention Is All You Need (arXiv, 2017) (İngilizce)
• Google Developers: Makine Öğrenmesi Hızlandırılmış Kurs, Transformers sayfası (İngilizce)
• OpenAI: Introducing ChatGPT (30 Kasım 2022) (İngilizce)

Son kontrol: 8 Kasım 2026

Kaynak: yzdersleri.com/ders/transformer-2017-ve-dil-modelleri/ · Yapay Zeka Dersleri