Workflow KPI Ledger：AI 数字员工到底有没有创造业务价值

Workflow KPI Ledger 是衡量 AI 数字员工业务价值的指标账本：accepted artifacts、reruns、human approvals、exception recovery、cost per completed workflow 和 saved cycle time 都要被记录。很多团队每天仍在重复、手动、容易出错地完成办公任务，试用 AI 后却只问“模型回答好不好”。这不够。AI 数字员工进入真实业务后，应该像一个工作单元一样被衡量：做成了多少事，减少了多少返工，哪些地方仍需要人确认。

NIST 的 AI Risk Management Framework 强调治理、测量和持续管理。对 Axon 来说，测量不应该停留在模型 benchmark。一个 workflow-first 的产品，要把指标落到 workflow 层。

数字员工的 KPI 不是“它像不像人”。真正要问的是：它交付了多少可验收产物，在哪些风险点停得正确，失败后能不能恢复。

业务 owner 应该看六个指标

指标	说明	为什么重要
Accepted artifacts	被 owner 接受的产物数量	证明输出能进入业务
Rerun rate	同类任务需要重跑的比例	反映流程稳定性
Human approvals	进入人工确认的次数和原因	看 Trust Mode 是否合理
Exception recovery	异常后能否继续处理	衡量可接管性
Cost per workflow	每个完成流程的模型和工具成本	判断规模化成本
Saved cycle time	相比人工流程节省的时间	连接业务 ROI

这些指标和 Scheduled Agent run journal 很接近。运行日志记录发生了什么；Workflow KPI Ledger 把运行记录转成业务判断。

一份 KPI Ledger

workflowKpiLedger:
  workflow: "weekly competitor briefing"
  period: "2026-05"
  runs: 18
  acceptedArtifacts: 15
  reruns: 2
  humanApprovals:
    total: 6
    topReasons:
      - "external email confirmation"
      - "missing source"
  exceptionRecovery:
    recovered: 3
    unresolved: 1
  costPerCompletedWorkflowUsd: 0.42
  savedCycleTimeHours: 11.5
  ownerNote: "brief quality stable; source list needs cleanup"

这份账本不需要复杂，但要能回答“这个数字员工值不值得继续扩大使用”。

为什么不能只看模型分数

模型分数能说明语言能力、推理能力或某些任务基准，但业务流程还有别的问题：输入是否齐全，产物是否可验收，权限是否安全，失败后是否有人接，成本是否能接受。一个模型在 benchmark 上很强，不代表某个 Agent 可以定时发客户邮件。

这就是 Workflow Evals 与 Trust Mode 的意义。Evals 给上线前的稳定性判断，Trust Mode 给风险动作边界，KPI Ledger 给上线后的业务复盘。

指标不要太多，先回答三个经营问题

第一，这个 workflow 有没有交付真实产物？
看 accepted artifacts，而不是只看运行次数。运行 100 次但没人用，价值为零。

第二，它减少了还是增加了管理成本？
看 rerun rate、human approvals 和 exception recovery。如果每次都要人工救火，自动化没有成立。

第三，它适不适合扩大？
看 cost per workflow 和 saved cycle time。低价值流程不该因为能自动化就被扩大。

从运行记录转成指标

1. 从 run journal 里读取每次运行的状态、产物和异常。
2. 从 artifact acceptance 记录里标记 accepted、edited、rejected。
3. 从 Trust Mode 记录里统计确认原因。
4. 按 workflow 和周期生成 KPI Ledger。
5. 由业务 owner 写一句判断：扩大、保留、暂停或重构。

如果团队已经做了 Source-to-Decision Lineage，KPI Ledger 会更可靠，因为每个指标都能追到资料、步骤、产物和决策。

KPI 审查问题

Q1：小团队也需要 KPI Ledger 吗？
需要，但可以很轻。先记录 runs、accepted artifacts、reruns、human approvals 和 owner note。

Q2：如何避免 KPI 变成形式主义？
只保留能驱动决策的指标。如果一个指标不会影响扩大、暂停或重构，就不要放进第一版。

Q3：KPI Ledger 是给管理层看的吗？
不只。业务 owner、运营 owner、Skill owner 都需要它。不同角色看同一份账本，才能讨论同一个事实。

先量一个数字员工

在 Axon 扩大 AI 数字员工前，先选一个已经稳定运行的 workflow，建立最小 Workflow KPI Ledger：产物验收、补跑、人工确认、异常恢复、成本和周期时间。再结合 workspace reliability review，判断它应该扩大、保留还是重构。了解更多运行证据、探索更多业务指标后，再把 KPI Ledger 推到更多链式 Skills。