🤖 AI 工程 · · 4 分钟阅读 教程
大模型 API 成本怎么算:一个公式、一个例子和五个省钱手段
输入、输出、缓存分别怎么计费?用一个客服机器人的例子算清每月账单,再看提示缓存、换小模型、限制输出等手段各能省多少。
#llm#cost#prompt-caching#api
输入、输出、缓存分别怎么计费?用一个客服机器人的例子算清每月账单,再看提示缓存、换小模型、限制输出等手段各能省多少。
#llm#cost#prompt-caching#api
模型返回的 JSON 总是多一个逗号、少一个括号?按可靠性从低到高,讲清楚 prompt 约束、JSON 模式、结构化输出、Schema 校验与自动修复该怎么组合。
#llm#json#structured-output
从分词器原理讲起:token 和字数的关系、中英文差异、上下文窗口怎么算,以及控制 token 用量的几个实用方法。
#llm#token#tokenizer
分块是 RAG 效果的第一道关口。用具体例子讲清楚块大小、重叠、按结构切分和元数据,以及怎么用数据验证你的选择。
#rag#embedding#llm