#tokenizer

大模型的 Token 到底是什么？为什么中文更“贵”，以及怎么估算用量

从分词器原理讲起：token 和字数的关系、中英文差异、上下文窗口怎么算，以及控制 token 用量的几个实用方法。

#llm#token#tokenizer