İçeriğe geçİçeriğe geç
Ders bul
Sözlük

Dönüştürücü (transformer)

Metindeki kelimeler arasındaki ilişkiyi dikkat mekanizmasıyla ölçen sinir ağı mimarisi.

Transformer, kelimeler arasındaki ilişkiyi “öz-dikkat” (self-attention; her kelimenin diğerlerine ne kadar bakacağını hesaplama) yöntemiyle ölçen bir yapay sinir ağı mimarisidir (modelin iç yapısı). Bugünkü büyük dil modellerinin çoğu bu yapıya dayanır. Bir cümlede “o” sözcüğünün kime ya da neye gittiğini bulmaya yardım ettiği için metni daha tutarlı üretir.