Tokenizer nedir, ne demek ve nasıl çalışır?

1. Tanım ve temel problem: Neden doğrudan kelimeler değil?

Büyük dil modelleri (GPT-4, Claude, Llama vb.) metinleri insan gibi harf harf veya kelime kelime okumaz. Sinir ağları yalnızca matrisler, tensörler ve sayılarla işlem yapabilir. Bu nedenle metnin önce sayılara dökülmesi gerekir.

Tarihsel olarak doğal dil işlemede (NLP) üç farklı yaklaşım denenmiştir:

1. Karakter Bazlı İşleme: Metin tek tek harflere bölünür (k, i, t, a, p). Sözlük boyutu çok küçüktür (birkaç yüz karakter), ancak cümleler çok uzar. Transformer mimarisinde dikkat mekanizmasının (Self-Attention) işlem karmaşıklığı dizilim uzunluğunun karesiyle (O(N²)) arttığından modelin belleği hızla tükenir.
2. Kelime Bazlı İşleme: Her kelime ayrı bir birim kabul edilir. Ancak bu durumda dildeki her çekim eki, yazım hatası ve yeni kelime için sözlük milyonlarca girdiye fırlar; sözlükte olmayan her kelime "bilinmeyen" (<unk> - Out of Vocabulary) etiketine düşer ve model anlamı kaybeder.
3. Alt Kelime (Subword) Çözümü: Günümüzün modern standardıdır. Sık kullanılan kelimeler tek bir parça ("kitap"), nadir veya türetilmiş kelimeler ise anlamlı alt kök ve eklere ("kitap" + "çı" + "lık") bölünür. Böylece 32.000 ile 128.000 arasında sabit bir sözlük boyutuyla sonsuz sayıda kelime temsil edilebilir.

2. Tokenizer algoritmaları ve matematiksel mantıkları

Modern dil modellerinin kalbinde yer alan başlıca tokenizer algoritmaları şunlardır:

• Byte Pair Encoding (BPE): Orijinalinde bir veri sıkıştırma algoritması olan BPE, günümüzde GPT serisi ve Llama modellerinin temelidir. Metindeki tüm temel karakterlerle başlar ve korpusta en sık art arda gelen karakter çiftlerini yinelemeli olarak birleştirip sözlüğe ekler.
• WordPiece: Google tarafından BERT modelinde yaygınlaştırılan bu yöntem, frekans yerine olasılık temellidir. Çiftleri birleştirirken dil modelinin eğitim verisi üzerindeki olabilirlik (likelihood) puanını en çok artıran alt kelime parçalarını seçer.
• SentencePiece ve Byte-Fallback: Boşlukları da özel bir alt karakter olarak kabul eder ve metni ham bayt akışı olarak ele alır. Sözlükte bulunmayan herhangi bir nadir Unicode karakteri görüldüğünde doğrudan UTF-8 baytına (Byte-Fallback) geri düşerek <unk> hatasını sıfıra indirir.

3. Türkçede "Tokenizer Vergisi" (The Tokenizer Tax)

Büyük dil modellerinin eğitim verilerinin %85'inden fazlası İngilizcedir. Bu durum, tokenizer sözlüğünün ağırlıklı olarak İngilizce kök ve kelimelerle dolmasına yol açar.

Türkçe gibi zengin eklemeli ve morfolojik dillerde bu durum ciddi bir maliyet ve bağlam eşitsizliği yaratır:

• İngilizce: "Artificial intelligence is transforming software engineering." cümlesi yaklaşık 7 token tutar.
• Türkçe: "Yapay zekâ yazılım mühendisliğini dönüştürüyor." cümlesi eklerin parçalanması nedeniyle 14-16 token tüketebilir.

Bu sebeple Türkçe konuşan kullanıcılar aynı bağlam penceresine daha az doküman sığdırabilir ve API servislerine 2 kat daha fazla ücret öder. Llama 3 ve GPT-4o ile sözlük boyutunun 128k üzerine çıkması Türkçe token verimliliğini belirgin şekilde artırmıştır.

4. Güvenlik ve Uç Durumlar: Glitch Tokens

Tokenizer sözlüğünde yer alan ancak modelin ön eğitimi sırasında metin gövdesinde nadiren veya anlamsız bağlamlarda geçen özel token'lara "Glitch Token" adı verilir.

Örneğin Reddit forumlarındaki kullanıcı adlarından veya e-ticaret sitelerindeki kodlardan türeyen SolidGoldMagikarp gibi token'lar modele sorulduğunda; yapay zekâ bu token'ın embedding uzayındaki vektörünü doğru konumlandıramadığı için halüsinasyon görmeye başlar, anlamsız küfürler sıralayabilir veya kilitlenebilir.

Sıkça sorulanlar

İlgili terimler

İlgili araçlar