八月,我们手里的那个智能体终于进了生产环境。从能演示到能交付,走了小半年。回头看,中间隔的东西基本跟模型能力无关。
隔的是什么,我列四条。
1、错了怎么办
演示的时候只展示成功的例子,生产环境里每一条都要有交代。我们的做法是给每个环节设置信阈值,低于阈值的转人工,并且把转人工的原因记下来。这条规则让上线变成可能,因为业务方需要知道"最坏的情况下会发生什么"。
2、数据从哪来
模型要读的数据散在四五个系统里,格式还各不相同。这部分工作占了我大概四成的时间,而且没有任何技术含量,纯粹是脏活。
3、怎么知道它变差了
上线不等于结束。模型会换、数据会变、业务规则会调,任何一项都可能让效果下滑。我们做了一套每天跑的回归评测,指标掉到线下就报警。
4、谁来负责
这条最容易被漏掉。系统给出一个建议,最后点头的是人还是机器?出了问题由业务部门承担还是技术部门承担?这条责任线不定清楚,项目就推不动。
总结一句:这类系统真正的门槛在工程和权责,不在算法。演示可以用一个下午做出来,交付要解决的是上面这四件事。