Agent 的演示视频通常只展示成功路径。真实场景里,一个 10 步的任务,如果每步成功率是 95%,整体成功率只有 60%。这就是为什么很多 Agent 产品「看起来很强,用起来很脆」。

误差累积是结构性问题

步数越多,累积误差越大。降低单步误差很难,更现实的做法是减少步数、增加检查点、允许人工接管。

三种工程解法

第一,把长任务拆成多个短任务,每段结束做一次校验;第二,给关键步骤加确定性工具(数据库查询、API 调用),减少模型自由发挥;第三,设计回滚与重试,让失败可恢复而不是全盘重来。

产品设计上的取舍

面向企业的 Agent,可信度优先于自动化程度:宁可让用户在关键节点点一下确认,也不要静默执行十步后给出一个错误结果。面向个人的 Agent,则可以把范围收窄到单一场景,用确定性换体验。

判断一个 Agent 产品是否成熟,看它有没有「失败处理」的设计,而不是看它演示得多流畅。