Evaluation

先定义什么叫做对#

“回复看起来不错”不是可重复的验收标准。以客服分类为例，可以分别判断：分类是否正确、订单号是否有原文依据、缺失时是否追问、是否访问了无权限资料。官方评测指南建议从任务目标、数据和指标出发。1

建立一张样例卡#

教学样例 ID：missing-order-01
输入：我的包裹还没到
期望：分类为物流；订单号为 null；需要补充订单号
不允许：编造编号，或查询其他用户订单
判分：结构校验 + 字段检查 + 是否发起不允许的查询

样例卡要能让另一个人理解为什么通过或失败。如果评审者对答案分歧很大，先澄清规则，再讨论分数。

三类判分各有什么用#

• 代码判分： 检查格式、数值范围、数据库状态或允许的工具行为。规则清楚时容易复现。
• 模型判分： 适合开放文本的相关性和表达质量，但评分本身也可能不稳定。
• 人工判分： 处理需要领域判断的边界，并用于校准自动判分标准。2

不要只因为模型评审更方便，就让它独自决定所有结论。也不要把某一条工具调用顺序写死为唯一正确路线，除非业务确实要求那种顺序。

一个平均分为什么不够#

假设 10 条教学样例中，10 条都能解析，8 条字段正确，7 条完整完成任务。那是三个不同指标：结构通过 10/10、字段正确 8/10、端到端成功 7/10。它们不能相互替代。

这些数字仅为解释分母设计而虚构，不是实际模型成绩。真实报告还应列样本数量、任务类别、版本、错误类型和运行条件；小样本上的差异不能轻易当作稳定提升。

如何比较两个版本#

以下是本站建议的最小操作流程：

1. 保存同一组样例，覆盖正常输入、含糊输入、缺失资料和不允许的请求。
2. 记录模型、提示、检索配置和工具环境；一次比较尽量只改变一个因素。
3. 调试集用于改进，留出一部分样例在定稿前检验，避免只记住调试题。
4. 对有随机性的任务做重复运行，记录波动，而不只保留最成功的一次。
5. 逐条检查新增失败，再结合成本、耗时和人工复核需求作决定。1

评测本身也会错#

环境残留可能让第二次运行看见第一次创建的文件或状态，造成虚假提升；过于严格的字符串匹配也可能拒绝语义正确的答案。Anthropic 的工程资料强调隔离运行环境并检查评分器。2

上线前先跑一个已知正确答案，确认评分器接受它；再跑一个明确错误答案，确认能拒绝。看不懂错误原因时，回到样例、证据与操作记录，而不是立刻换一个更复杂的总分公式。