Đếm token LLM và chia chunk API

Đếm token chính xác theo encoding OpenAI (o200k_base, cl100k_base), ước lượng cho model khác, cắt văn bản đúng N token và chia chunk cho RAG.

Tham số

Ví dụ

curl -X POST "https://apibox.io.vn/v1/llm-tokens" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"text":"Xin chào! Hôm nay trời đẹp, chúng ta đi dạo nhé."}'

const res = await fetch('https://apibox.io.vn/v1/llm-tokens', {
  method: 'POST',
  headers: {
    Authorization: 'Bearer YOUR_API_KEY',
    'Content-Type': 'application/json',
  },
  body: JSON.stringify({
    "text": "Xin chào! Hôm nay trời đẹp, chúng ta đi dạo nhé."
  }),
});
const data = await res.json();
console.log(data);

import requests

res = requests.post(
    "https://apibox.io.vn/v1/llm-tokens",
    headers={"Authorization": "Bearer YOUR_API_KEY"},
    json={"text": "Xin chào! Hôm nay trời đẹp, chúng ta đi dạo nhé."},
    timeout=30,
)
print(res.json())

<?php
$ch = curl_init('https://apibox.io.vn/v1/llm-tokens');
curl_setopt_array($ch, [
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_CUSTOMREQUEST => 'POST',
    CURLOPT_HTTPHEADER => ['Authorization: Bearer YOUR_API_KEY', 'Content-Type: application/json'],
    CURLOPT_POSTFIELDS => '{"text":"Xin chào! Hôm nay trời đẹp, chúng ta đi dạo nhé."}',
]);
$response = curl_exec($ch);
print_r(json_decode($response, true));

Kết quả trả về

{
  "encoding": "o200k_base",
  "tokens": 17,
  "counts": {
    "o200k_base": 17,
    "cl100k_base": 28
  },
  "characters": 48,
  "bytes_utf8": 60,
  "words": 11,
  "language": "vi",
  "tokens_per_word": 1.55,
  "chars_per_token": 2.82,
  "vietnamese_vs_english": {
    "reference": "the same paragraph in English and Vietnamese",
    "english_tokens": 39,
    "vietnamese_tokens": 45,
    "ratio": 1.15,
    "english_tokens_per_word": 1.08,
    "vietnamese_tokens_per_syllable": 1.22,
    "this_text_tokens_per_word": 1.55
  },
  "estimates": [
    {
      "family": "anthropic",
      "models": "Claude",
      "estimated_tokens": 35,
      "range": [
        28,
        42
      ],
      "estimate": true,
      "basis": "cl100k_base × 1.25",
      "note": "Claude tokenizer is not public; use the free Anthropic count_tokens API for exact numbers."
    },
    {
      "family": "google",
      "models": "Gemini, Gemma",
      "estimated_tokens": 16,
      "range": [
        14,
        18
      ],
      "estimate": true,
      "basis": "o200k_base × 0.95",
      "note": "SentencePiece 256k vocabulary; exact counts via the Gemini countTokens API."
    },
    "…"
  ],
  "estimates_note": "Estimates are heuristics (an exact OpenAI count × a factor per script), not real tokenizer output.",
  "source": "gpt-tokenizer 4.1.2 (MIT), OpenAI tiktoken ranks"
}

Ứng dụng

• Kiểm tra prompt có vừa cửa sổ ngữ cảnh trước khi gọi API
• Chia tài liệu thành chunk theo token, kèm vị trí, để đưa vào chỉ mục RAG
• Ước tính chi phí token của một tác vụ hàng loạt
• Đếm token từ Apps Script, n8n, Make hay PHP, nơi không có tiktoken

Hỏi đáp

API liên quan