六月花了差不多三周，给手里的智能体做了一套评测集。做之前我以为这是个辅助工作，做完之后看法变了——它才是这个系统真正的核心。
先说为什么难。
提示词是描述"我希望它怎么做"，评测集是定义"什么算做对了"。后者难得多，因为它要求你把一个模糊的业务要求翻译成可判定的标准。比如"总结要准确"，到底什么算准确？漏掉一个次要信息算不算错？表述和原文不一样但意思对，算不算错？
我们最后分了四层来测。
1、能不能做
基础的可行性，跑一批正确样本看通过率。
2、会不会做坏
跑一批边界样本，看它有没有在模棱两可的地方乱来。这一层最有价值，因为出问题往往出在这里。
3、听不听话
给了明确约束条件，看它会不会违反。比如"不要输出内部编号"，说了它是不是真不输出。
4、稳不稳定
同一个输入连跑十遍，答案的差异有多大。差异太大的，业务上没法用。
一个具体的教训：我们最早只测第一层，通过率九成多，很漂亮。上线之后用户投诉最多的却是第四层——同一个问题问两次给的答案不一样，用户会觉得这东西不靠谱。所以我们加了"一致性"这个指标，很多原来九成的场景掉到七成。
我的结论是：能不能上线，不取决于模型最好的表现，取决于你知不知道它最差的时候会怎么错。