使用说明
- 粘贴你的 prompt、文档或对话记录。
- 选择分词器：当前的 OpenAI 模型用
o200k_base，GPT-4 和 GPT-3.5 用cl100k_base。 - token 数、字符数、词数会实时更新；打开可视化可以看到文本具体在哪里被切分。
常见问题
对 Claude、Gemini、DeepSeek、通义千问准确吗？
厂商之外的工具都无法做到精确：这些模型各有自己的分词器，Anthropic 和 Google 也没有公开可离线使用的版本。OpenAI 的计数可以作为参考（通常相差 10%–30%），需要精确数字时请使用厂商提供的 token 计数接口。
为什么中文更费 token？
分词器主要用英文语料训练，常见英文单词往往只占 1 个 token，而中文字符可能每个占 1 个或更多 token。o200k_base 这类新分词器处理中文比 cl100k_base 高效不少。
我的文本会被上传吗？
不会。分词器（开源库 gpt-tokenizer）只需下载一次，之后完全在浏览器中运行。