评估普通文本生成时，人们常只看最终答案。Agent 可能碰巧给出正确结论，却调用了错误工具、访问了不该读取的数据，或付出了十倍成本。评估必须覆盖从目标到每个动作的完整轨迹。

定义任务成功

为每类任务写出可验证的完成条件。例如研究助理必须覆盖三项指定指标并提供可访问来源；工单助理必须选择正确类别、提取客户确认的信息，而且不能直接修改账户。

除了成功率，还要记录工具选择准确率、参数通过率、无效或重复调用次数、人工介入率、总耗时、token、工具费用和高风险违规次数。

建立轨迹测试集

样本应包含正常任务、信息不足、工具无结果、权限拒绝、服务超时、资料中夹带恶意指令和需要用户确认的动作。保存期望的关键步骤和禁止动作，不必要求模型每次走完全相同的路径。

回放测试时固定模型和工具环境，区分模型决策变化与外部数据变化。对于会改变真实状态的工具，使用沙箱、模拟服务或只读副本。

记录可诊断信息

一次运行至少记录任务标识、模型与提示版本、每次工具名称、脱敏参数、结果状态、耗时、停止原因和最终结果。日志不应包含密钥、完整私人文件或不必要的推理文本。

观察失败时先分类：目标理解错误、工具选择错误、参数错误、工具故障、状态丢失、循环停止或最终表达错误。不同问题需要修改不同层，不能都归因于模型“不够聪明”。

分阶段开放权限

先在离线样本和模拟工具中测试，再对内部用户开放只读能力，然后增加创建草稿等可撤销动作。不可逆或对外动作必须经过人工确认，并配置速率、金额、资源和时间范围限制。

为单次任务设置成本和时间上限，为整个系统设置异常调用告警和紧急停用开关。供应商或工具不可用时，应安全降级，而不是切换到权限更大的备用路径。

明确责任归属

用户应知道 Agent 能做什么、哪些动作会请求确认、如何查看和撤销结果。每个生产 Agent 都需要业务负责人、工具负责人和故障处理流程。

Agent 上线不是把工作“交给 AI”，而是建立一套新的自动化操作系统。只有轨迹可见、权限可控、失败可恢复、责任有人承担，自主行动才真正有用。