四月，我们内部的知识库上线满一年。回头看，最大的感受是：决定它好不好用的，没有一个是模型选型的事。
1、文档怎么切
这是第一个坎。最早按固定长度切，结果一个完整的操作步骤被切成两半，检索回来的是半句话。后来改成按结构切——按标题层级、按表格整体，效果立刻不一样。切分方式比模型大小影响大得多。
2、检索出来的东西对不对
检索才是真正的瓶颈。关键词检索和向量检索各有用处，最后我们是两条路一起走再合并排序。另外做了权限过滤，而且必须在过滤之后的集合里检索——不同部门能看到的东西本来就不一样。
3、回答里要能点回去
每条回答必须附原文位置，让人点开能核对。这不是为了好看，是为了让用的人建立判断力。没有引用的答案，业务同事用两次就不信了。
4、没人用怎么办
这条最容易被低估。上线前我们做了很多功能，上线后日活一直上不去，直到把它接进大家本来就每天在用的工单系统，使用量才起来。用户不会为了一个好功能改变自己的工作流。
一年下来最大的体会：这是个工程问题，不是模型问题。八成的功夫花在数据整理、权限和流程接缝上。