本文为基于公开来源的独立中文解读。模型能力与性能数字属于来源报告,本站未执行模型推理跑分。
先统一比较口径
Cloudflare 文章报告,优化后平均评审成本从所选高成本时期的 2.43 美元降至 0.77 美元,中位耗时从 4 分 09 秒降至 1 分 32 秒。来源还说明约四成节省来自代码改动,其余来自模型与推理力度实验。
这些数字只描述其代码评审系统的样本和口径。本站图表会清楚标为“来源报告”,不会把它当成我们网站运行模型的结果。
高缓存命中依然可能更贵
文章中缓存命中率提高的同时,每次评审处理的 token 量也显著增长。即使缓存读取单价较低,更多内容、缓存写入和输出仍可能推高总支出。
本站建议同时观察输入量、缓存写入、读取和输出量,并按任务类型分组。只盯着一个命中率指标,容易遗漏系统扩张带来的真实成本。
用质量约束优化预算
减少模型调用和上下文前,需要知道哪些证据对正确结论有贡献。文章也通过对照运行检查新旧系统的决策一致性,避免仅以便宜作为上线标准。
可以把预算优化写成约束问题:在关键缺陷召回和可接受误报范围内,减少重复分析与冗余上下文。每次只改变少量变量,方便归因和回滚。
实践检查表
- 记录每次任务的 token 构成与任务规模。
- 用相同样本比较成本、时间和质量。
- 优先移除重复工作,再尝试更低预算。
原始来源
Cutting our inference bill by 68% by being obsessive about optimization ↗
原文日期 2026-10-19 · 最后核对 2026-11-01
本文保留原文事实、本站判断与适用边界。来源全文、模型许可与使用要求以原作者发布为准。