十二月二十六号,一个新模型发布,同时公开的训练成本数字让很多人吃了一惊——和当时主流模型相比,差了不止一个量级。
技术细节我不多讲,我想说的是这件事对选型的影响。
我们内部做过一次粗略对照:把手上的实际任务,包括工单分类、文档摘要、日志异常归并,分别用几个模型跑一遍,比较准确率和单次调用成本。做完之后的结论挺直接——在我们的任务上,最强的模型和性价比最好的模型之间准确率差距并不大,但成本差好几倍。
这件事改变了我的一条思路。以前选型是"先挑最好的,再想办法省钱",现在是"先看这个任务需要多少能力,够用就用便宜的"。因为大部分日常任务对能力的要求其实不高,难的是稳定性和工程配套。
另一件值得记的是成本下降的速度。这一年的下降幅度远超我年初的预判。我当时估计推理成本一年降一半,实际降得比这快得多。这也带来一个副作用:任何靠"调用很贵"来建立的商业模式,护城河都比我以为的浅。
那两天我和同事开了个短会,结论就一句:以后的架构里,模型要当可替换的零件设计,别写死在里头。这一条现在还没被验证,但如果成本继续按这个速度往下走,用不了一年,我们选型表上就得换掉一半。