春节前后，我们给线上的智能体做了一次减配，把一部分环节从最强模型换成了小模型。做之前内部有争论，做完之后效果反而更稳定了。
怎么判断哪些环节可以换？我们把整个流程拆开，逐个环节统计两件事：这个环节出错的概率，以及它出错之后会被后面的环节兜住，还是会一路传下去。
结果很清晰。真正需要强模型的环节只有两个：一是理解那种含糊不清的原始需求，二是最后生成给人看的结论。中间那些抽取字段、判断类型、格式转换的活，小模型完全够用，而且因为速度快，整个流程的响应时间还短了一截。
减配之后成本降了一半多。但更大的收获不是省钱，是稳定性。强模型的输出风格有时候会飘，小模型因为能力有限，反而更严格地照着规则走。在那些不需要创造力的环节，规矩比聪明重要。
这件事让我修正了一个看法。前两年我总觉得能力越强越好，模型一升级就赶紧换。现在我认为选型的核心问题是：这个环节到底需要多少能力。多出来的那部分，有时候是负资产。