把大模型接进工单系统,先解决分类这件事

技术AI 421 字

六月做了一个小范围试点。我们每天要处理大量设备报障工单,用户描述五花八门,派单靠人看,慢而且经常派错。想试试能不能让模型先分类。

做法很朴素:把历史工单里已经处理完的两万条拿出来,人工标注出正确类别,然后用这些样本写提示词,让模型按类别输出。

效果比预期好。定了八个类别,模型在测试集上的准确率大概八成五,比人工分派略低一点,但快得多,而且稳定——人到了下午会疲劳,它不会。

坑主要有三个。

一是用户的描述里经常夹着情绪和无关信息,模型会抓住那句抱怨当线索。所以在提示词里明确要求忽略情绪词。

二是类别之间的边界。像"网络不通"和"设备离线",实际分给不同小组处理,但描述经常重合。最后靠补充规则解决,不是靠模型。

三是兜底。八成五的准确率意味着每七条就有一条错,必须有机制发现。我们的做法是模型分完人还要过一眼,但只需要确认,不需要重判。所以省下来的是时间,不是人。

我常说一句话:模型能帮你把八成的事做对,剩下那两成怎么处理,才决定这个东西能不能上线。

返回首页