测试集开工前冻结
评测用的问答集在开工前确定并冻结。交付时用同一套跑，不接受中途更换标准。
交付标准 · 企业智能体开发
准确率、拒答率、单次成本，三个数一起验收
智能体最容易糊弄的验收方式是「看起来挺好用」。所以这条业务线的标准是三个数一起看：答得对不对、答不出来时怎么办、每次回答花多少钱。
拒答率要单独看
拒答不是失败。无检索依据时必须拒答，且拒答原因可解释、可统计。
单次成本写进验收
AI 调用成本有独立看板，单次成本与月度总额都可预测。超预算部分由我方承担。
权限在检索前过滤
用户看不到无权内容，而不是看到了再筛掉。这一条按越权次数验收。
验收
四项指标，谁签字、什么时候签
| 验收项 | 指标 | 谁签字 | 什么时候 |
|---|---|---|---|
| 固定测试集准确率 | 达标（开工前约定） | 客户业务负责人 | 第 45 天原型评审 |
| 越权访问次数 | 0 次 | 客户信息安全负责人 | 上线后第 30 天 |
| 单次调用成本 | ≤ 开工前写入合同的预算值，超出部分我方承担 | 客户项目负责人 | 每月复核 |
| 拒答可解释率 | 100% | 客户业务负责人 | 上线后第 30 天 |
不通过怎么办
不达标的时候，这些条款会生效
验收条款写进合同，不靠口头承诺。下面是这条业务线最常见的三种不达标情形与处理方式。
准确率不达标
免费重训，直到在冻结的测试集上达标。重训期间不追加费用。
成本超预算
超出部分由我方承担，并优化到预算内再交付。
出现越权访问
立即下线整改，重新做权限审计后再次验收。
依据
这条标准从哪来
这份标准来自两处：一是行业里「演示效果很好、上线效果很差」的普遍现象，根因是验收标准不固定；二是我们自己的做法 —— 测试集必须在开工前冻结，否则验收没有意义。
下一步
接下来
这份标准不是给所有人看的，是给正在评估的人看的。