AI Agent 怎么评测:能演示不等于能交付
Agent 产品的宣传通常是「一句话完成十步任务」。真实使用中,十步里任何一步出错,整体就失败。三个该看的指标 图解:三个该看的指标 任务完成率:在真实数据上跑一百次,成功几次;平均步数:步数越多,误差累积越大;失败可恢复性:出错后能不能回滚或人工接管。演示看不到的部分 图解:演示看不到的部分 演示不会展示它卡在登录验证、不会展示它把金额算错、不会展示它在第三步就开始编造数据。这些恰恰是落地时的主要成本。怎么自测准备十个真实任务,故意包含一个模糊指令和一个缺数据的场景,看它会不会主动提问、会不会承认不知道。会问的,通常更可靠。产品判断面向企业的 Agent,可信度优先于自动化程度。宁可让用户在关键节点确认一下,也不要静默执行十步后给一个错误结果。