Jeton (token)
Jeton, dil modelinin metni işlerken kullandığı en küçük birimdir; sözcük, sözcük parçası ya da karakter olabilir.
Jeton, dil modelinin (metin üretmeyi büyük metinlerden öğrenmiş yapay zekâ) metni işlerken kullandığı en küçük birimdir; bir sözcük, sözcük parçası, karakter olabilir. Örneğin yaygın olmayan ya da hiç görülmemiş bir sözcük, daha küçük jetonlara bölünerek işlenebilir. Bir jetonun kaç karaktere denk geldiği modele ve dile göre değişir; bu yüzden tam sayım için aracın jeton sayacı kullanılır.
Bu terimin geçtiği dersler
Sıradaki kelime oyunu: Yapay zekâ nasıl tahmin eder?
Çocuğunuzla ekransız bir tahmin oyunu oynayın; yapay zekânın cevabı nasıl kurduğunu ve neden yanılabildiğini birlikte görün.
Aynı soruya neden farklı cevap? Olasılık ve sıcaklık ayarı
Yapay zekâ aynı soruya neden farklı cevap verir? Sonraki parçanın olasılıkla seçilmesini, sıcaklık ayarını ve tutarlı cevap almanın yollarını öğrenin.
Gönder’e bastığınızda ne olur: bir cevabın yolculuğu
Yapay zekâya bir soru yazıp Gönder’e bastığınızda isteğiniz nasıl paketlenir, sunucuya nasıl gider, model cevabı nasıl üretir ve cevap size…