预算有限时如何选对模型：Fable 5.1 实战评测

当基准跑分遇上现实预算

每次新模型发布，官方基准跑分总是令人兴奋。Claude Fable 5.1 也不例外——它的基准分数比上一代翻了一倍多。但如果你是一个需要控制 API 成本的开发者，光看跑分表可能会做出错误的决策。

The New Stack 最近做了一项有意思的测试：在真实预算约束下，对比 Fable 5.1 和 Fable 5 的实际表现。结果既在预料之中，又有些出乎意料。

测试设置：预算才是硬约束

这项测试的核心思路很简单：给两个模型相同的任务集和相同的预算上限，看它们能完成多少工作。

• 任务集：5 个真实世界的编程/推理任务
• 约束条件：有限的 token 预算，模拟普通开发者的日常使用场景
• 对比对象：Fable 5.1 vs. Fable 5

这不是实验室里的无限资源测试，而是模拟你我在实际项目中会遇到的场景——预算有限，但任务必须完成。

结果：通过率不高，但失败成本更低

测试结果值得细看：

Fable 5.1 在 5 个任务中通过了 1 个。 乍看之下这个成绩并不亮眼。但关键在于对比：上一代 Fable 5 在相同预算下表现如何？

更重要的是，Fable 5.1 的失败成本显著更低。这意味着什么？

当模型无法完成任务时，它消耗的 token 更少。对于按量付费的开发者来说，这直接转化为金钱上的节省。一个任务失败了，但只花了很少的钱——这比失败还烧掉大量预算要好得多。

为什么“失败更便宜”很重要

这个发现对开发者有实际指导意义：

1. 预算敏感场景下的选型逻辑

如果你在构建一个需要大量尝试的 AI 应用（比如代码生成、自动化测试），失败是常态。此时，单次失败的成本比单次成功的概率可能更影响总体开销。

2. 重试策略的经济学

假设任务成功率是 20%，但每次失败只花 1 毛钱，而成功花 5 毛钱。对比另一个模型成功率 40%，但每次失败花 5 毛钱——在预算有限时，前者可能反而能让你尝试更多次，最终完成更多任务。

3. 基准分数的局限性

基准分数翻倍听起来很棒，但如果分数提升主要来自“在无限预算下能做得更好”，那对你的实际场景帮助有限。真正该关注的是：在你能承受的预算内，模型能交付什么。

实用建议：如何做自己的预算测试

如果你正在选型，不妨参考这个测试思路：

1. 设定真实预算上限：不要用“无限 token”，用你实际愿意为单个任务支付的金额
2. 用你自己的任务集：5 个通用任务不如 5 个你实际会遇到的场景
3. 同时记录成功率和失败成本：两个指标缺一不可
4. 计算“每成功任务成本”：总花费 ÷ 成功任务数，这才是最终的经济指标

对开发者和 AI 使用者的启示

Fable 5.1 的案例告诉我们：

• 基准分数是起点，不是终点。翻倍的分数在真实预算下可能只转化为有限的通过率提升
• 失败的经济性同样重要。一个“失败得便宜”的模型，在重试密集型场景中可能比“成功率高但失败昂贵”的模型更实用
• 做自己的测试。官方跑分不会告诉你预算约束下的表现，只有你自己的任务集和预算约束才能给出答案

下次看到新模型发布时，除了看基准分数，不妨多问一句：在我不充裕的预算里，它能帮我完成多少事？ 这个问题的答案，往往比跑分表上的数字更有价值。