• Metin Tokenizasyonu: En bilinen tokenizasyon türüdür. Kelime tabanlı, alt kelime tabanlı (örn. Byte-Pair Encoding – BPE, WordPiece) ve karakter tabanlı yaklaşımlar mevcuttur. Büyük dil modelleri (LLM'ler) genellikle alt kelime tabanlı tokenizasyonu tercih ederler çünkü bu, hem geniş bir kelime haznesi ihtiyacını azaltır hem de nadir kelimelerle başa çıkmada esneklik sağlar. Her metin parçasının belirli bir token sayısına dönüştürülmesi, ModalityTokenCount'un metin bileşenini oluşturur.
• Görsel Tokenizasyonu: Görseller doğrudan piksel dizileri olarak işlenmek yerine, genellikle daha anlamlı parçalara bölünür. Vision Transformer (ViT) gibi modellerde, bir görsel sabit boyutlu "yamaçlara" (patches) ayrılır ve her yamaç bir token olarak kabul edilir. Bu görsel tokenlar, doğrusal bir projeksiyon aracılığıyla sayısal embeddinglere dönüştürülür ve metin tokenlarına benzer şekilde işlenebilir hale gelir. Her bir görselin içerdiği yamaç sayısı, görsel modalitesinin token sayısını belirler.
• Ses Tokenizasyonu: Ses verileri, genellikle önce bir spektrograma dönüştürülür (frekans ve zaman boyutlarında sesin görsel temsili). Daha sonra bu spektrogramlar da görsellerdeki gibi yamaclara ayrılabilir veya sesin temel birimlerini temsil eden daha soyut "ses tokenları" çıkarılabilir. Konuşma tanıma modellerinde fonemler veya daha büyük ses birimleri token olarak kullanılabilir. Sesin zaman boyutu nedeniyle, uzun ses kayıtları çok sayıda token üretebilir.
• Video Tokenizasyonu: Video, temelde zaman içinde değişen bir dizi görselden (karelerden) ve eşlik eden sesten oluşur. Dolayısıyla video tokenizasyonu, hem görsel tokenizasyonun (her kare için yamaclar) hem de ses tokenizasyonunun birleşimi olarak düşünülebilir. Ek olarak, zaman içindeki hareket ve değişim bilgisini yakalamak için özel "mekansal-zamansal tokenlar" da oluşturulabilir. Bir videodaki toplam görsel kare ve ses birimi sayısı, video modalitesinin ModalityTokenCount değerini önemli ölçüde artırabilir.

• Hesaplama Maliyeti: Transformer mimarisi gibi birçok modern yapay zeka modelinde, hesaplama karmaşıklığı token sayısıyla doğrusal olmayan bir şekilde (genellikle karesel olarak) artar. Bu, işlenecek token sayısı arttıkça modelin eğitilmesi ve çıkarım yapması için gereken işlem gücünün (GPU/TPU) ve sürenin katlanarak artacağı anlamına gelir. Yüksek ModalityTokenCount değerleri, maliyetleri astronomik seviyelere çıkarabilir.
• Bellek Kullanımı: Her bir token, modelin iç belleğinde bir embedding vektörü olarak saklanır. Toplam token sayısı arttıkça, modelin GPU belleğinde tutması gereken veri miktarı da artar. Bu, özellikle büyük multimodal modellerde bellek sınırlamalarına yol açabilir ve daha güçlü donanım gereksinimlerini beraberinde getirir.
• Model Kapasitesi ve Performansı: Token sayısı aynı zamanda modelin belirli bir girdi hakkında ne kadar bilgi edinebileceğini ve bağlamı ne kadar derinlemesine anlayabileceğini de etkiler. Çok düşük token sayıları, bilginin kaybolmasına yol açabilirken, çok yüksek token sayıları gereksiz gürültüyü artırabilir veya modelin ilgili bilgiyi ayırt etmesini zorlaştırabilir. Optimum bir ModalityTokenCount, modelin en iyi performansı göstermesi için kritik olabilir.
• Maliyet Etkisi (API Kullanımı): OpenAI'nin GPT-4V gibi multimodal modellerinin API'leri genellikle işlenen token sayısına göre ücretlendirilir. Bu durumda, ModalityTokenCount doğrudan bir operasyonun maliyetini belirleyen temel faktör haline gelir. Geliştiricilerin bu metrikleri dikkatlice izlemesi, bütçelerini verimli kullanmaları açısından zorunludur.

“Multimodal AI'da her modalite kendi tokenizasyon şemasına sahiptir ve bu şemaların birleşimi, modelin toplam hesaplama yükünü ve anlam çıkarma yeteneğini doğrudan etkiler. ModalityTokenCount, bu karmaşıklığın anahtarıdır.”

Genişletmek için tıkla ...

• Heterojenlik: Farklı modalitelerin tokenizasyon şemaları ve token granülleri birbirinden tamamen farklıdır. Bir metin tokenı bir kelimeyi temsil ederken, bir görsel tokenı bir resmin küçük bir yamacını temsil edebilir. Bu heterojenlik, multimodal modellerin bu farklı token akışlarını nasıl birleştireceği konusunda yeni araştırma alanları doğurmuştur.
• Standardizasyon Eksikliği: Henüz tüm modaliteler için evrensel veya standart bir tokenizasyon şeması bulunmamaktadır. Her araştırma grubu veya model, kendi tokenizasyon yaklaşımını benimseyebilir, bu da karşılaştırmaları ve entegrasyonu zorlaştırır.
• Bağlamsal Anlama: Farklı modalitelerden gelen tokenların birleştirilmesi, modelin genel bağlamı doğru bir şekilde anlamasını gerektirir. Örneğin, bir görseldeki nesnenin tanımıyla ilgili metin tokenlarının doğru bir şekilde eşleştirilmesi hayati önem taşır. ModalityTokenCount'u minimize ederken bilginin kaybolmamasını sağlamak, zorlu bir denge problemidir.

// Kavramsal olarak ModalityTokenCount hesaplaması
struct TokenCounts {
    int text_tokens;
    int image_tokens;
    int audio_tokens;
    int video_tokens;
    int total_tokens;
};

// Farklı modalitelerden gelen token sayılarının bir araya gelmesi
// Örneğin, bir video ve metin açıklaması için:
TokenCounts current_input_tokens;
current_input_tokens.text_tokens = 150; // Metin açıklaması
current_input_tokens.image_tokens = 0;
current_input_tokens.audio_tokens = 500; // Video ses akışı
current_input_tokens.video_tokens = 1000; // Video kareleri (görsel yamalar)

current_input_tokens.total_tokens = current_input_tokens.text_tokens +
                                     current_input_tokens.audio_tokens +
                                     current_input_tokens.video_tokens;

// total_tokens = 150 + 500 + 1000 = 1650
// Bu sayı, modelin işleyeceği toplam token sayısını temsil eder.