Maliyetler 2025 itibariyle 1M token başına girdi fiyatlarıdır. Çıktı token'ları genellikle daha pahalıdır — kötü senaryo için 3–5 ile çarp. Llama 3 sıfır maliyet gösterir çünkü tipik deployment self-hosted'dır. Hosted teklifler (Together, Groq, Fireworks) boyuta göre 1M başına $0.20–$1 alır. Fiyatlar değişir. Gerçek bir bütçe için bu rakamlara güvenmeden önce sağlayıcının fiyat sayfasını kontrol et.

Token ≠ kelime. Bir İngilizce kelime ortalama 1.3 token'dır; "antidisestablishmentarianism" yaklaşık 7'dir. Kod ve yapısal metin karakter başına çok daha yoğun tokenize olur. CJK metni yoğundur. Her Çince / Japonca / Korece karakter kendi token'ı olabilir, yani 1000 karakter ≈ 1000 token — İngilizce'den "karakter" başına çok daha pahalı. Gizli karakterler birikir. Sıfır genişlikli birleştiriciler, NBSP veya BOM içeren yapıştırılmış metin de sayılır. Token sayın şüpheli yüksek görünüyorsa Unicode Inspector aracını kullan. Sistem + kullanıcı + asistan birikir. Bağlam penceresi bütçesi sohbetteki her mesajı içerir. Girdini ham limite göre boyutlandırma; cevaplar için %30–50 marj bırak.

Token Sayacı

GPT-4, Claude, Llama, Gemini ve diğer LLM'ler için token sayısını tahmin et. Metni yapıştır, model başına sayıları yan yana gör. Dosyalar tarayıcını asla terk etmez.

Giriş

Token counts per model

Model	Tokens	Input $/1M	Cost (this text)

Estimates only. Real tokenizers (tiktoken, SentencePiece, etc.) may differ by ±10%. For exact counts, run the model's tokenizer locally.

Bu ne işe yarar?

Bir LLM ile her etkileşim token bazında ücretlendirilir — modelin tokenizer'ının metninden kestiği alt-kelime birimleri. Token'lar hem bağlam penceresi sınırlarını ("bu sığar mı?") hem de fiyatı ("ne kadar tutacak?") belirler. Tam sayı modelin tokenizer'ına bağlıdır ki bu genelde elinin altında olmaz. Bu araç her büyük model için yan yana hızlı bir tahmin, artı yayınlanan fiyatlarla bu metin için dolar maliyetini verir.

Ne zaman kullanılır

Bir system prompt'u boyutlandırma — (artı kullanıcı girişi ve çıktı için marj) bağlam penceresine sığıyor mu emin olma.
Bir batch işin API maliyetini çalıştırmadan önce tahmin etme — 100 temsili girdi yapıştır ve çarp.
Prompt iterasyonlarını karşılaştırma: yeni prompt gerçekten kısaldı mı yoksa öyle mi hissettin?
Bir "çok uzun" hatasının gizli whitespace, BOM işaretçisi veya copy-paste gürültüsünden kaynaklandığını sanity-check etme.

Doğruluk hakkında dürüstlük

Bunlar sezgisel yöntemler, gerçek tokenizer'lar değil. tiktoken (OpenAI), Anthropic'in tokenizer'ı ve SentencePiece (Llama, Gemini, Mistral) metni farklı keser. İngilizce düz yazı için ±%5 içinde kalırız. Kod, yoğun JSON ve CJK ±%10 veya daha kötüye sürüklenir.
Neden gerçek tokenizer'ları göndermiyoruz. tiktoken tek başına ~1 MB WASM + veri dosyaları; sırf token saymak için yüklemek sayfayı 10 katına şişirir. Tam sayım için tiktoken'i Python'da yerel çalıştır veya modelin /v1/tokenize endpoint'ini çağır.
Doğru yaptıklarımız. Göreli sıralama (hangi model aynı metin için daha fazla token kullanıyor) güvenilirdir. Maliyet sıralaması genellikle doğrudur. Büyüklük sırası tahminleri ("bu 500 mü 5000 mi?") tam isabet.

Fiyat notları

Maliyetler 2025 itibariyle 1M token başına girdi fiyatlarıdır. Çıktı token'ları genellikle daha pahalıdır — kötü senaryo için 3–5 ile çarp.
Llama 3 sıfır maliyet gösterir çünkü tipik deployment self-hosted'dır. Hosted teklifler (Together, Groq, Fireworks) boyuta göre 1M başına $0.20–$1 alır.
Fiyatlar değişir. Gerçek bir bütçe için bu rakamlara güvenmeden önce sağlayıcının fiyat sayfasını kontrol et.

Yaygın tuzaklar

Token ≠ kelime. Bir İngilizce kelime ortalama 1.3 token'dır; "antidisestablishmentarianism" yaklaşık 7'dir. Kod ve yapısal metin karakter başına çok daha yoğun tokenize olur.
CJK metni yoğundur. Her Çince / Japonca / Korece karakter kendi token'ı olabilir, yani 1000 karakter ≈ 1000 token — İngilizce'den "karakter" başına çok daha pahalı.
Gizli karakterler birikir. Sıfır genişlikli birleştiriciler, NBSP veya BOM içeren yapıştırılmış metin de sayılır. Token sayın şüpheli yüksek görünüyorsa Unicode Inspector aracını kullan.
Sistem + kullanıcı + asistan birikir. Bağlam penceresi bütçesi sohbetteki her mesajı içerir. Girdini ham limite göre boyutlandırma; cevaplar için %30–50 marj bırak.