上下文越来越长,我们反而不再拼提示词了

技术AI 406 字

六月我们改了一套系统的做法。原来那份提示词写了将近两千字,把所有规则、格式要求、注意事项都堆在里面。改完之后主提示词只剩三百字。

为什么改?因为那份长提示词维护不下去了。业务规则一变就要改,改完还经常顾此失彼——加了一条新约束,原来某条约束就不灵了。而且规则越堆越多,模型对每一条的执行程度都在下降。它像是在读一份几十页的说明书,读到后面已经忘了前面。

改法是拆开。

一是把跟具体任务无关的通用规则挪到系统层面,只留最核心的角色和边界。

二是把那些"看情况才需要"的规则做成按条件检索的片段。处理某一类问题时才把那几条相关规则喂进去,其余的不出现。

三是把格式要求从文字描述改成给一个样例,让它照着样例输出。这条效果最明显,格式不一致的问题基本消失了。

改完准确率上去了,维护也简单了。我最大的感受是:提示词写长这件事,往往说明没想清楚哪些该常驻、哪些该按需给。这跟上下文窗口有多大没关系,窗口再大也不该把所有东西都塞进去。

返回首页