使用说明
- 粘贴文档，或打开文本 / Markdown 文件。
- 设置块大小和重叠长度，选择按 token（o200k_base）还是按字符计算。
- 逐个查看分块结果（重叠部分会高亮），再导出为 JSON 或 JSONL，用于向量化流程。
常见问题
块大小设多少合适？
常见的起点是 300–800 个 token，重叠 10%–20%。块越小检索越精确，块越大保留的上下文越多，最好用你自己的问题和文档实际测试。
递归切分是怎么工作的？
先在最强的边界处切分 —— 空行（段落），只有仍然过长的片段才继续按行、句子、分句和词切分。然后把小片段重新合并到大小上限以内，所以分块很少会把一句话从中间切断。