Token nedir?
Yapay zekanın metinleri işlemek için kullandığı en küçük anlam birimidir.
Tanım
Yapay zekanın dili işlemek için kullandığı en temel parçacıklardır. Bir kelime, hece veya noktalama işareti modelin dünyasında bir sayısal koda karşılık gelir.
Nasıl çalışır?
Model metni okumadan önce onu küçük parçalara böler. Bu parçalar sayesinde yapay zeka, dilin yapısını ve kelimeler arası ilişkileri matematiksel olarak hesaplayabilir.
Nerede kullanılır?
Yapay zeka modellerinin maliyet hesaplamalarında ve hız ölçümlerinde kullanılır. Bir modelin ne kadar metin işleyebileceği veya ne kadar hızlı yanıt vereceği token sayısı üzerinden belirlenir.
Sık karıştırılanlar
Kelime sayısı ile karıştırılır, ancak tokenlar bazen bir kelimenin bir kısmı veya sadece bir boşluk olabilir.
Sıkça sorulanlar
1000 token yaklaşık kaç kelimedir?
Genellikle İngilizce metinlerde 1000 token yaklaşık 750 kelimeye denk gelir.
Neden token kullanıyoruz?
Bilgisayarlar kelimeleri değil sayıları anladığı için metni matematiksel bir formata dönüştürmemiz gerekir.
İlgili terimler
İlgili araçlar
Bu açıklama TreScout için sade dille hazırlandı · yanlış ya da eksik gördüğünüz bir şey olursa hello@trescout.com. TreScout her gün GitHub, Hacker News ve HuggingFace trendlerini Türkçe özetler.