把一份表丢给 AI,问「帮我找异常值」,然后照它给的清单去改数据,这是最常见的错误。AI 会顺着你的问法编出理由,把正常的极端值说成错误,把真正的录入错误漏掉。异常值排查不是让模型下结论,而是让它帮你把数据切开、算清、对比,再由你判断哪条值得追。

先做描述统计,别急着问「哪些是异常」

判断:没有分布形状,就没有异常值的定义。同一列在偏态分布和正态分布下,异常阈值完全不同。

做法:让 AI 只做计算,不做判断。要求它输出每列的样本量、缺失数、最小值、四分位数、中位数、均值、最大值、标准差,并注明每列的类型(数值、类别、日期)。数值列再补一个「均值与中位数差多少」,差距大说明分布偏斜,后面别用均值加减标准差的规则。让它把结果整理成表,你逐列看,先找出量纲明显不对、缺失比例过高的列。

用分组对比替代全局阈值

判断:全局异常往往只是某个分组的正常值。不分组就删数据,等于把业务差异当噪声清掉。

做法:先确定分组维度,比如地区、渠道、时间段、设备类型。让 AI 对每个分组分别算中位数和四分位距,再标记组内偏离超过 1.5 倍四分位距的记录。要求它同时输出「该记录在全局排第几」和「在本组排第几」,两个位置差得远的,才是值得看的对象。提示词可以直接复制:

你是一名数据分析助手。下面是表结构说明和样本数据(或我随后粘贴的 CSV)。
请只做计算,不要给结论,不要建议删除任何行。
1. 对每个数值列,按 [分组字段] 分组,输出:组内样本量、中位数、Q1、Q3、IQR、组内低于 Q1-1.5*IQR 或高于 Q3+1.5*IQR 的记录行号。
2. 对每条被标记的记录,补充:该值在全表的分位数位置、在本组的分位数位置、同组同期的均值。
3. 输出一张表,列为:行号、字段名、原值、组内中位数、组内分位位置、全表分位位置。
4. 如果某组样本量小于 30,单独列出,并注明该组阈值不可靠。
不要推测异常原因。

追问原因时,让 AI 给假设而不是答案

判断:模型无法知道你公司的录入流程,它给的「原因」多半是常识拼接。有用的是它列出的可能性和验证方式。

做法:针对每条可疑记录,要求 AI 给出三到五条互斥的假设,每条附一个能验证的数据检查,比如「是否为手工录入」「是否跨系统同步延迟」「单位是否混用(元/万元)」「是否重复提交」。然后你自己去查原始单据或日志。对同一个问题换一种问法再问一次,如果两次结论不一致,说明它在猜。

交叉验证,别只看一列

判断:单列异常可能是真值,多列同时矛盾才更像错误。

做法:让 AI 检查可疑行在其他列上是否也反常,比如金额异常但数量正常、日期在未来但状态是已完成、同一主键出现多条。用 ul 列出你确认过的检查项,逐条核对:

  • 主键是否唯一,重复行的其他字段是否一致
  • 时间字段是否落在合理区间,起止顺序是否正确
  • 类别字段的取值是否在已知枚举内
  • 数值列的量级是否与同组同期的历史范围相符
  • 关联表能否对上,比如订单号在明细表里是否存在

什么情况下这套做法不适用

判断:这套流程依赖「有分组、有历史、数据量够」。缺一条,结论就要打折。

做法:出现以下情况时,不要用 AI 的统计结果做删除或修正依据。样本量很小,比如每组不到三十条,四分位距本身不稳定;数据本身是重尾分布且业务上极端值就是重点,比如欺诈金额、故障时长;表里没有可靠的分组字段或时间字段,无法做组内对比;数据涉及个人信息或商业机密,不能外传,此时只能在本地跑脚本,AI 只用来写代码;以及你无法拿到原始凭证去核实,任何「异常」都只是猜测。遇到这些情况,把 AI 的产出当作待查清单,而不是处理决定。