AI 成本优化指南与最佳实践
在不牺牲质量的前提下降低 LLM API 支出的实用、经实战验证的技巧。
本地化证据仍在完善中
本页目前是翻译后的工作摘要，部分支持性研究仍会打开英文页面。因此，在证据库完成本地化之前，此语言版本暂不参与搜索索引，也不加载广告。
可复用的工作流程
在不掩盖质量退化的前提下降低成本
选择一个接近生产环境的工作负载，每次只调整一个变量。目标不是孤立地追求最低 Token 账单，而是在结果仍满足质量与可靠性标准的前提下降低成本。
- 1
记录基线
针对固定样本记录请求量、输入、缓存输入、输出、重试、延迟和成功结果。
- 2
只改变一个变量
分别测试缓存、路由、检索、输出限制或 Agent 步数，使效果仍可归因。
- 3
验证结果
运行同一评估集；如果节省导致不可接受的错误、截断或延迟，就不采纳。
- 4
计价并记录
使用已审核费率计算每月影响，并记录假设、排除项和决策日期。
提示词缓存要点
按供应商缓存输入费率复用符合条件的稳定提示词与参考上下文，并实际测量命中率和成本变化。
- 将稳定内容（系统提示、工具、参考资料）置于开头。
- 将可变的用户输入放在提示词末尾。
- 在静态前缀上启用缓存并衡量命中率。
决策前需要测量
符合条件的重复前缀 Token、缓存命中率、命中与未命中的计费 Token，以及每月缓存写入、存储和读取费用。
按难度进行模型路由
将简单任务发送给小型廉价模型，把旗舰模型留给真正的推理，从而大幅降低综合成本。
- 在推理前按复杂度对每个请求分类。
- 将分类与提取路由到小型模型。
- 仅将困难任务升级到旗舰模型。
决策前需要测量
各路由的任务成功率、升级与回退比例、延迟，以及每个成功结果消耗的总 Token。
输出 Token 控制
输出成本是输入的数倍。约束并塑造回复，以控制最昂贵的 Token。
- 在每次调用上设置明确的 max_tokens。
- 在由机器消费的场景中要求简洁或结构化输出。
- 优先选择长上下文配短回答，而非冗长生成。
决策前需要测量
输出 Token 的 P50 和 P95、截断或重试率，以及目标任务的结果接受率。
RAG 上下文效率
检索会悄然膨胀输入 Token。调优分块与重排序，发送更少、更精准的段落。
- 使用固定评估集测试多种分块大小。
- 对候选进行重排序，仅保留达到实测相关性阈值的段落。
- 发送前去除样板文本并去重。
决策前需要测量
检索上下文 Token、固定评估集上的回答质量，以及嵌入、重排序和存储成本。
AI Agent 预算
Agent 在每次循环都会重发不断增长的上下文。限制步数并压缩历史，让运行更经济。
- 为每次 Agent 运行设置硬性步数上限。
- 摘要对话历史，而非携带完整记录。
- 使用廉价模型进行编排与工具选择。
决策前需要测量
每次运行的步骤数、重试或循环率、完成率，以及从首步到末步的上下文增长。
基础设施成本卫生
除 Token 外，重试、嵌入与闲置容量也会累积。让成本在整个技术栈中可观测。
- 通过稳健的错误处理与验证减少重试。
- 为嵌入设置版本并增量重嵌。
- 对自托管 GPU 容量进行合理规格或自动扩缩。
决策前需要测量
Token 支出，加上重试、评估、嵌入、存储、网络流量和闲置计算资源。
保留优化决策日志
每次实验都应保存工作负载版本、模型、供应商价格日期、Token 测量值、质量阈值、结果和负责人。模型、提示词、检索流程或供应商价格变化后应重新检查。