首页 独立开发实战内容详情

LLM 成本控制:从 token 预算到模型分工

2026-11-03 11

LLM 成本控制:从 token 预算到模型分工

> 系列五 · 第 4 篇。前几篇聊了怎么批量生成内容,这篇算账——批量跑起来之后,钱到底烧在哪。

又是月底。打开 API 后台一看,账单比预估高了快一倍,往下翻消费明细,元凶是某个凌晨跑挂的批量任务:模型连续吐了四十多分钟废稿,重试没设上限,我在睡觉,它在烧钱。

那天我被坑惨了,但也把成本这件事彻底想明白了。下面是账。

核心要点

  • 批量生成的大头是输出 token,不是输入;单价差好几倍,算账别算错方向
  • 思考模型的 reasoning token 是隐性税,模板化任务根本不需要它“思考”
  • 分层模型策略:重要内容上旗舰,批量杂活丢给本地模型,边际成本归零
  • 重试必须有 3 次硬上限,无限重试等于给 API 厂商打钱
  • 只在“内容会被反复看到”的场景为质量付高价,一次性中间产物不配

一、先算账:批量生成的钱都烧在哪了

一次工具页生成,实测约 1 万 token 输出。输入那边是模板加关键词,撑死两千 token,而且是重复的。

问题来了:为什么账单爆炸的速度远超预期?因为各家定价里,输出 token 单价通常是输入的好几倍。说人话就是——你每生成一页,最贵的部分恰恰是你最想要的那部分。

批量场景下这个结构会被放大。100 个页面 = 100 万输出 token,跑一轮旗舰模型的价格,够买好几斤咖啡豆了。

所以预算要按“输出 token 数 × 单价 × 页面数”来算,别拿输入端那点钱安慰自己。

二、思考模型的隐性税:reasoning token 白吃预算

思考模型(reasoning model)出答案前会先“想一段”,这段思考过程照样计费。更阴的是,有些 API 连 reasoning token 的具体消耗都不完整返回给你,账单上只留一个总价。

这是批量流水线的硬伤。翻译一段 meta description 需要模型思考三分钟吗?不需要。但只要你选了思考模型,它每条都会认真想——用茅台洗脚,说的就是这种用法。

怎么判断该不该用?看任务的“智力密度”。写一篇深度文章,思考过程值回票价;跑一千条格式化任务,思考过程就是纯粹的浪费。

关不掉 reasoning 怎么办?换模型。别赌运气,别指望 prompt 里写一句“不要思考”就能省钱——该扣的 token 一个都不会少。

三、分层模型策略:旗舰干大事,本地模型躺赚干杂活

我的分工现在很明确:文章正文、核心页面这类重要任务,上 GLM-5.3 这种旗舰,质量优先,单价忍了。

批量翻译、标签生成、meta 描述这类模板活,丢给本地跑的 Qwen。免费。显卡是一次性投入,跑一晚上电费可以忽略不计,这就是普通人能摸到的“躺赚”。

中间再垫一层便宜 API 模型做缓冲,形成三级火箭。

还有个容易被忽略的设计:降级链路。旗舰模型挂了或限流,自动降级到便宜模型顶上,而不是整个流水线翻车停摆。批量任务最怕的不是质量下降一点,是凌晨三点全线停摆没人管。

等真翻车了你就懂了:降级输出哪怕糙一点,人工过一遍的成本,也远低于整批重跑。

四、失败重试:3 次上限,别让一条死循环烧穿预算

先分清失败类型。格式错误可以重试,模型抽风吐了截断的 JSON 而已;内容不合格就别硬重试了,同样的话说三遍它还是听不懂,该换 prompt 或者换模型;限流就退避等待,硬冲只会更惨。

不管哪种,重试 3 次封顶。超过就标记进“待人工”清单,继续跑下一个。

为什么是 3 次?经验值。第 1 次可能是抽风,第 2 次可能是 prompt 边界问题,第 3 次还失败,基本说明这单任务本身有毛病,再试十次也是烧钱。

我那次半夜翻车就是没这条规则。现在每条任务都带计数器,到 3 就熔断,成本曲线从此变得无聊——无聊就是好事。

五、什么时候值得为质量付高价 token

判断标准只有一条:这段内容会被看到多少次。

首页文案、核心文章、会被搜索引擎反复收录展示的页面——每一 token 的曝光次数是几百上千,旗舰模型的钱花得值。

一次性的中间产物——初稿、待人工修订的翻译稿、内部摘要——用完就扔,没人记得它,凭什么用最贵的模型?便宜模型加人工过一遍,总成本能砍掉一大半。

反过来也一样:贪便宜用了烂模型,返工的 token 是双倍,最后这个锅还得你自己接盘。

最后补一个批量流水线的小细节:给每个任务分配唯一 ID 做幂等键,跑挂了从断点续跑,不重复烧钱。手边没现成脚本的时候,我会直接开本站的 UUID 生成器 批量拉一打 ID 填进任务表,比临时写代码快多了。

FAQ / 常见问题

Q1:全用免费额度或最便宜的模型,是不是就稳赚?

不。质量差导致返工,返工 token 是双倍成本,再搭上你的时间。而且把成本策略押在薅各家免费额度上属于突击套利,额度政策一变就全盘翻车。

Q2:prompt 缓存(context caching)能省多少?

批量场景必开。系统提示词命中缓存后,输入侧成本能砍掉一大半——反正模板都是重复的,不缓存等于每次重新交一遍入场费。

Q3:本地模型门槛是不是很高,没显卡玩不了?

量化后的 7B 级模型,普通游戏卡甚至 CPU 都能跑。批量文本任务对速度不敏感,晚上挂着跑,白天收货,够用了。

  • 评论列表 (0条)

 暂无评论,快来抢沙发吧~

发布评论