Token nedir? Yapay zekâ metni nasıl parçalara böler?

Yapay zekâ metni harf harf ya da kelime kelime değil, “token” denen küçük parçalarla okur. Bu parçaları bilmek, neden bazen cevabın kesildiğini ya da kullanım hakkınızın beklediğinizden hızlı azaldığını anlamanıza yardım eder.

Aklınıza bir soru mu takıldı?

Sorunuzu ya da aradığınız konuyu yazın Ders bul

Bu derste neler öğreneceksiniz?

• Tokenın ne olduğunu ve kelimeden nasıl ayrıldığını
• İngilizce için verilen yaklaşık kuralın Türkçe için neden birebir geçerli olmadığını
• Token sayısının neden kullanım sınırınızı ve cevap uzunluğunu etkilediğini
• Komutunuzu anlamını bozmadan nasıl kısaltacağınızı

Token tam olarak nedir?

OpenAI’ın yardım sayfası tokenı, dil modelinin okuduğu birim olarak anlatıyor. Bir token genellikle kelimeden küçük ya da kelimeyle yaklaşık aynı büyüklükte bir metin parçasıdır. Parça sınırı her zaman kelime sınırıyla örtüşmez; bir token boşluk taşıyabilir ya da kelimenin yalnız bir kısmı olabilir. Google’ın Machine Learning Crash Course sayfası da tokenların kelime, kelime parçası ya da harf olabileceğini söylüyor.

Neden kelime yerine parça? Çünkü her kelimeyi ayrı ayrı tanımak çok büyük bir sözlük gerektirir. Hugging Face’in öğrenme sayfasına göre kelimeleri alt parçalara bölmek, sık geçen kelimeleri bütün bırakıp seyrek kelimeleri anlamlı parçalara ayırıyor. Böylece küçük bir sözlükle her kelime yazılabiliyor.

İngilizce kuralı Türkçede neden tutmaz?

OpenAI sayfası İngilizce için yaklaşık bir kural veriyor: bir token yaklaşık dört karakter ya da kelimenin dörtte üçü, yani yüz token yaklaşık yetmiş beş kelime. Sayfa ayrıca İngilizce olmayan metinlerde karakter başına token oranının genellikle daha yüksek olduğunu söylüyor. Yani aynı içeriği başka bir dilde yazarsanız daha çok token harcayabilirsiniz.

Petrov ve arkadaşlarının makalesi bunu ölçüyor: aynı metin farklı dillere çevrildiğinde token dizisinin uzunluğu çok farklı çıkabiliyor ve bazı durumlarda fark yaklaşık on beş kat. Makale, bunun dil konuşurlarının daha çok ödemesine, daha yavaş işlem görmesine ve bağlam penceresinde daha az yer bulmasına yol açabileceğini yazıyor. Türkçe için ayrı bir oran vermiyor. Bu yüzden “Türkçe şu kadar fazla token tutar” diye bir sayı söyleyemeyiz; yalnız yönü bilebiliriz: İngilizce olmayan metin daha pahalı olabilir.

Token sayısı size ne gibi bir fark yaratır?

İki yerde fark edersiniz. Birincisi, modelin tek seferde işleyebileceği toplam metin sınırıdır; komutunuz, yüklediğiniz belgeler ve cevap aynı sınırı paylaşır. İkincisi kullanım hakkınızdır. Anthropic’in yardım sayfasına göre konuşmanın uzunluğu, mesajların uzunluğu ve eklediğiniz dosyalar kullanımınızı etkiliyor; uzun konuşmalar ve büyük ekler daha çok hakkınızı tüketiyor. Aynı sayfa, birden çok soruyu tek mesajda toplamayı ve aynı dosyayı aynı konuşmada yeniden yüklememeyi öneriyor.

Günlük bir örnek: Eskişehir’de bir öğretmen olan Burcu Hanım, her mesajında sınıf listesini, yönetmeliği ve kendi notlarını baştan yapıştırıyor. Bir süre sonra kullanım hakkı çabuk azalıyor ve konuşma tıkanıyor. Çözüm, belgeyi bir kez yüklemek, sonraki sorularda kısa komutlar yazmak ve gerekirse yeni bir konuşma açmak. Bağlam penceresi ve yeni sohbete geçiş ayrı derslerde ele alınıyor.

Komutu kısaltmak: anlamı kaybetmeden sadeleştirmek

Kısa komut iyi komut demek değildir. Amacı, okuru ve biçimi hâlâ içermesi gerekir. Kısaltılacak yerler genellikle tekrarlar, nezaket kalıpları ve aynı şeyi üç kez söyleyen cümlelerdir. Aşağıdaki komut, uzun bir komutu sizin için sadeleştirmesini ister. Önce ve sonra karşılaştırın.

Bu çıktı bir örnektir. Kısaltılmış komutu kullanmadan önce kendi amacınızı koruyup korumadığına bakın.

Adım adım uygulama

1. Sık kullandığınız uzun bir komutu seçin.
2. Komutta amacı, okuru ve çıktı biçimini işaretleyin; bunlar silinmemeli.
3. Tekrarları ve nezaket kalıplarını çıkarın ya da yapay zekâya çıkartın.
4. Kısalan komutla aynı işi yeniden isteyin ve sonucu eski sonuçla karşılaştırın.
5. Aynı belgeyi her mesajda yapıştırmak yerine bir kez yükleyin.
6. Birbirine bağlı soruları tek mesajda toplayın.
7. Konuşma çok uzadıysa özet isteyip yeni konuşmaya geçin.

Kontrol listesi

• Komutun amacı, okuru ve biçimi duruyor
• Aynı belgeyi tekrar tekrar yüklemedim
• Birbirine bağlı soruları birleştirdim
• Uzayan konuşmayı özetleyip yenisine geçtim

Sık yapılan hatalar

• Token sayısını kelime sayısı gibi hesaplamak
• İngilizce kuralını Türkçe metne birebir uygulamak
• Komutu kısaltırken amacı ve okuru da silmek
• Her mesajda aynı belgeyi yeniden yapıştırmak

Kendinizi deneyin

Kaynaklar

• OpenAI Yardım: Token nedir ve nasıl sayılır? (İngilizce)
• Google Machine Learning Crash Course: Dil modelleri (İngilizce)
• Hugging Face LLM Kursu: Belirteçleyiciler (İngilizce)
• Petrov ve arkadaşları: Dil modeli belirteçleyicileri diller arasında eşitsizlik yaratıyor (arXiv) (İngilizce)
• Anthropic Yardım: Kullanım hakkı nasıl işler? (İngilizce)

Son kontrol: 8 Kasım 2026

Kaynak: yzdersleri.com/ders/token-nedir-sade-anlatim/ · Yapay Zeka Dersleri