五月十三号那场发布会,重点不是参数,是延迟和交互。语音输入到回复之间几乎没有等待,能被中途打断,语气也自然。那天下午我们临时开了个会,开了两个钟头。
会开得长不是因为技术多震撼,是因为它把一件事挑明了:过去两年我们讨论的都是"怎么写提示词",而这个东西的交互方式更接近打电话。
我们最后得出几条判断。
一是端上的交互形态要重新设计。我们的用户是工厂里的运维人员,手上戴着沾了油的手套,根本不适合打字。如果语音能稳定接住,这个场景的价值比做一个漂亮的网页大得多。
二是延迟下降会把"人在回路"的模式改掉。以前因为响应慢,流程自然设计成批处理——攒一批问题一次性处理。延迟接近实时之后,更自然的方式是边做边问。
三是成本结构。语音和视频的输入输出都比文本贵得多,如果按老思路算单次调用成本,会得出很吓人的数字。得换一种算法:看它替代了什么,而不是看单价。
那天的会没有结论,但有一点统一了:重点正在从"模型能力"挪到"怎么把它接进人的工作方式里",而后者才是真正难的部分。