← 返回发现

INFERENCE ENGINEERING

推理账单降低 68%:先找出 token 花在哪里

Cloudflare 的代码评审系统案例表明,缓存命中率高并不意味着总成本低。成本优化需要观察工作量、上下文与质量。

本文为基于公开来源的独立中文解读。模型能力与性能数字属于来源报告,本站未执行模型推理跑分。

先统一比较口径

Cloudflare 文章报告,优化后平均评审成本从所选高成本时期的 2.43 美元降至 0.77 美元,中位耗时从 4 分 09 秒降至 1 分 32 秒。来源还说明约四成节省来自代码改动,其余来自模型与推理力度实验。

这些数字只描述其代码评审系统的样本和口径。本站图表会清楚标为“来源报告”,不会把它当成我们网站运行模型的结果。

高缓存命中依然可能更贵

文章中缓存命中率提高的同时,每次评审处理的 token 量也显著增长。即使缓存读取单价较低,更多内容、缓存写入和输出仍可能推高总支出。

本站建议同时观察输入量、缓存写入、读取和输出量,并按任务类型分组。只盯着一个命中率指标,容易遗漏系统扩张带来的真实成本。

用质量约束优化预算

减少模型调用和上下文前,需要知道哪些证据对正确结论有贡献。文章也通过对照运行检查新旧系统的决策一致性,避免仅以便宜作为上线标准。

可以把预算优化写成约束问题:在关键缺陷召回和可接受误报范围内,减少重复分析与冗余上下文。每次只改变少量变量,方便归因和回滚。

实践检查表

  • 记录每次任务的 token 构成与任务规模。
  • 用相同样本比较成本、时间和质量。
  • 优先移除重复工作,再尝试更低预算。
来源报告 · 平均评审成本(美元/次)优化前$2.43优化后$0.77特定代码评审工作负载;不代表其他部署环境。
根据来源公开数字绘制,非本站实测。
原始来源

Cutting our inference bill by 68% by being obsessive about optimization ↗
原文日期 2026-10-19 · 最后核对 2026-11-01

本文保留原文事实、本站判断与适用边界。来源全文、模型许可与使用要求以原作者发布为准。