多数人做工单分类,第一反应是列关键词表:看到「退款」归财务,看到「登录不了」归技术。上线一周就发现规则互相打架——「退款申请失败,登录也进不去」同时命中两类,客服只能手动改。问题不在词表不够长,而在于只看关键词、不看词出现的语境。关键词决定「可能是什么」,上下文才决定「实际是什么」。

先判断:单靠关键词能做到什么程度

结论是:关键词适合做初筛,不适合做终判。工单文本短、口语化、错别字多,同一个词在不同句子里指向完全不同的处理方。做法上,先把现有工单按「最终由谁处理」标注 100 到 200 条,统计关键词命中与真实归属的偏差,偏差大的类别就是必须引入上下文的类别。

把上下文拆成可判断的几类信号

判断:上下文不是笼统的「前后文」,要拆成模型能稳定识别的信号。做法是固定四类:否定与转折(「不是退款,是发票开错」)、主体(谁在操作、是买家还是商家)、动作结果(尝试过什么、报错是什么)、诉求(用户到底要什么)。让模型按这四类逐项提取,再给分类结论,比直接问「归哪类」稳定得多。

用提示词把判断过程写死

判断:提示词的价值在于约束输出结构,而不是让模型自由发挥。做法是要求先摘录证据原文,再给类别,最后给置信度;证据不足时允许输出「待人工」。可直接使用下面这段:

你是工单分类助手。请阅读工单,按以下步骤输出,不要省略任何一步。

1. 上下文信号:
   - 否定/转折:摘录原文,无则写「无」
   - 主体:用户身份与涉及对象
   - 动作与结果:用户做了什么、得到什么报错或现象
   - 核心诉求:一句话概括
2. 关键词命中:列出命中的业务词,并说明该词在本句中的实际含义。
3. 分类结论:从下列类别中选一个——账号登录、支付退款、发票财务、物流配送、产品故障、其他。
4. 置信度:高/中/低。若关键词与上下文指向不同类别,必须标「低」。
5. 待人工:若关键信息缺失(如无报错原文、无订单号),写「是」并说明缺什么。

工单内容:
{{ticket_text}}

跑一批后,重点看「低置信度」和「关键词与上下文冲突」的样本,这些就是规则需要补的地方。

把模型输出沉淀成规则,而不是每次重跑

判断:如果每张工单都调用模型,成本和延迟都不可控,也不便于审计。做法是让模型处理历史样本,人工复核后把稳定的判断写成规则条目,例如「出现『退款』但同时出现『发票』且诉求为开票,归财务」。规则按「信号组合」而非单词组织,并保留一条兜底规则指向人工。模型只用于发现新组合和回归测试。

什么情况下不适用

以下情形不建议用这套方法:类别边界本身没定义清楚,标注 100 条就有三成人意见不一致,此时应先统一分类口径;工单量极小,每天不足几十条,人工分拣更快;类别高度依赖系统内部状态(如订单实际支付结果),文本里根本没有线索;以及涉及投诉、法律纠纷、退款金额争议的工单,分类只能作为路由参考,处理结论须由相应岗位和专业人士判断,不应由模型给出。判断标准很简单:如果分类错误的代价需要人工兜底复核,那这套规则就只做分流,不做定论。