• Kelime Bazlı Tokenleştirme: Metni boşluklara ve noktalama işaretlerine göre kelimelere ayırır. Nispeten basit olmakla birlikte, farklı kelime biçimleri (örneğin "koşmak", "koşuyor", "koştu") ayrı tokenler olarak ele alınır, bu da sözlük boyutunu artırır.
• Karakter Bazlı Tokenleştirme: Metindeki her karakteri ayrı bir token olarak kabul eder. Sözlük boyutu çok küçük olur ancak uzun diziler oluşturur ve anlamsal bilgiyi kaybetme riski taşır.
• Alt Kelime (Subword) Bazlı Tokenleştirme: En popüler ve modern yaklaşımdır. Kelimeleri daha küçük, anlamlı parçalara böler. Bu sayede hem bilinmeyen kelimelerle (out-of-vocabulary, OOV) başa çıkılabilir hem de sözlük boyutu yönetilebilir seviyelerde tutulur. Byte Pair Encoding (BPE), WordPiece ve SentencePiece gibi algoritmalar bu kategoriye girer. Bu yöntemler, sık geçen kelime ve kelime parçalarını birleştirerek token sayısını optimize eder. Örneğin, "tokenleştirme" kelimesi "token", "leştir" ve "me" gibi parçalara ayrılabilir. Bu, hem dilin morfolojik zenginliğini yakalamaya yardımcı olur hem de yeni kelimelerin ("tokenleştirme" gibi) sistem tarafından daha iyi anlaşılmasını sağlar.

• Maliyet: Çoğu büyük dil modeli sağlayıcısı (OpenAI, Google gibi), API kullanımlarını gönderilen ve alınan token sayısına göre faturalandırır. Daha fazla token, daha yüksek maliyet anlamına gelir. Bu nedenle, özellikle yoğun kullanımlı uygulamalarda token sayısını optimize etmek maliyetleri düşürmek için hayati öneme sahiptir. 1362 token'lık bir girdi veya çıktı, maliyet hesaplamalarında belirli bir birim olarak değerlendirilecektir.
• Bağlam Penceresi (Context Window): Dil modellerinin aynı anda işleyebileceği metin miktarı sınırlıdır. Bu sınıra "bağlam penceresi" denir ve genellikle token cinsinden ifade edilir (örneğin, 4096 token, 8192 token, 32768 token). Girdi metniniz bu pencereyi aşarsa, model metnin tamamını işleyemez ve önemli bilgileri gözden kaçırabilir. 1362 token, çoğu modelin bağlam penceresi için oldukça yönetilebilir bir boyuttadır, bu da modelin verilen tüm bilgiyi eksiksiz bir şekilde okuyabileceği anlamına gelir.
• Performans ve Kalite: Bağlam penceresi içinde kalsanız bile, çok uzun girdiler modelin "dikkatini" dağıtabilir veya en kritik bilgilere odaklanmasını zorlaştırabilir. İyi tasarlanmış, özetlenmiş ve odaklanmış prompt'lar (girdiler) genellikle daha iyi ve daha doğru sonuçlar verir. Token sayısının optimize edilmesi, modelin iş yükünü azaltır ve yanıt kalitesini artırabilir.
• Gecikme Süresi (Latency): Daha fazla token işlemek, modelin yanıt üretmesi için daha fazla zaman harcaması gerektiği anlamına gelir. Gerçek zamanlı uygulamalarda veya yüksek performans gerektiren sistemlerde, token sayısını düşük tutmak yanıt sürelerini kısaltmaya yardımcı olur.
• Bilgi Yoğunluğu: Belli bir token sayısına sığdırılan bilginin yoğunluğu da önemlidir. 1362 token, bir makale özeti, detaylı bir soru veya belirli bir konu hakkında kapsamlı bir açıklama için yeterli bir alandır. Önemli olan, bu tokenleri en verimli şekilde kullanmaktır.

"Bir dil modelinin gücü, sadece parametre sayısında değil, aynı zamanda bağlam penceresini ne kadar akıllıca kullandığında yatar. Her bir token, bu bağlamın bir tuğlasıdır ve tuğlaların doğru yerleştirilmesi, sağlam bir yapı inşa etmek için elzemdir." - AI Uzmanı (kurgusal alıntı)

Genişletmek için tıkla ...

• Detay Seviyesi: Bu miktar, bir konuyu yüzeysel olarak değil, derinlemesine ele almak için yeterli alan sağlar. Karmaşık teknik açıklamalar, çok adımlı talimatlar veya geniş bir veri setinin özeti bu boyuta sığdırılabilir.
• Prompt Mühendisliği: 1362 token, modelin belirli bir görevi yerine getirmesi için gerekli tüm bağlamı, talimatları ve örnekleri sağlamak için ideal bir boyuttur. Örneğin, "Aşağıdaki metni analiz et ve ana fikrini 50 kelimeyle özetle. Ardından, bu metindeki temel sorunları ve çözüm önerilerini madde madde açıkla. Son olarak, metinde geçen belirli terimlerin teknik tanımlarını ver." gibi çok adımlı ve detaylı bir prompt bu miktarla oluşturulabilir.
• Veri Analizi: Belirli bir veri setinin kısa bir özetini, anahtar bulgularını veya eğilimlerini bu token sınırı içinde raporlamak mümkündür. Örneğin, müşteri geri bildirimlerinin bir analizi veya pazar araştırması sonuçlarının özeti.

• Özetleme: Gerekli olmayan detayları çıkararak metni kısaltın. Modelden metni özetlemesini isteyebilirsiniz.
• Chunking (Parçalara Ayırma): Çok uzun metinleri daha küçük, yönetilebilir token öbeklerine ayırın ve her öbeği ayrı ayrı veya ardışık olarak işleyin.
• Daha Verimli Prompt'lar: Gereksiz kelimeleri ve tekrarları çıkararak prompt'larınızı daha öz ve net hale getirin. Modelin direkt ne yapmasını istediğinizi belirtin.
• Sıkıştırma: Modelden metindeki bilgiyi yoğunlaştırmasını veya daha kısa bir formatta sunmasını isteyin.
• Model Seçimi: Bazı modeller daha küçük token limitlerine sahipken, yeni nesil modeller çok daha büyük bağlam pencereleri sunar. İhtiyaçlarınıza en uygun modeli seçmek önemlidir.

import tiktoken

def count_tokens(text: str, model_name: str = "cl100k_base") -> int:
    """
    Belirtilen metindeki token sayısını sayar.
    model_name: "cl100k_base" (GPT-4, GPT-3.5-turbo), "p50k_base" (davinci) vb.
    """
    encoding = tiktoken.get_encoding(model_name)
    tokens = encoding.encode(text)
    return len(tokens)

sample_text = "Bu, token sayısını test etmek için kullanılan örnek bir metindir. Türkçe karakterler ve noktalama işaretleri de içerir."
token_count_for_sample = count_tokens(sample_text)

print(f"Metin: '{sample_text}'")
print(f"Token Sayısı ({'cl100k_base'}): {token_count_for_sample}")

# Çıktı örneği:
# Metin: 'Bu, token sayısını test etmek için kullanılan örnek bir metindir. Türkçe karakterler ve noktalama işaretleri de içerir.'
# Token Sayısı (cl100k_base): 32