仅限答案的边界
对响应进行评分。
- 返回的答案
- 参考对比
- 答案等级
03 / 印象中的证据
私人评估
结果还能继续运行吗？
仅答案基准可以对响应进行评分，同时忽略智能体所做的事情。基于环境的评估记录行动并根据明确的规则和任务谓词检查其后果。
私人评估从您的智能体界面、授权环境和评估问题开始。我们在执行前就保留的任务、允许的工具、运行条件、故障场景和报告边界达成一致。
当前的 GameOps 证据表明数据集验证，而不是测量客户智能体的性能。在报告分数之前，根据商定的环境配置和验证商业测量功能。
公开聊天机器人评估
尚无获准发布的真实聊天机器人评估。
- 已发布运行
- 0
- 已发布轮次
- 0
查看三项服务 ↗ · WFRB v0 方法与结果 ↗ · 了解试点合作计划 ↗
答案与后果。
环境边界
检查运行情况。
- 行动+观察状态
- 约束+结果检查
- 验证者证据
仪器边界的比较，而不是执行的客户基准。
| 问题 | 仅回答基准 | 基于环境的评估 |
|---|---|---|
| 检查什么？ | 针对参考或标题返回的答案。 | 违反环境规则的行动、转换和最终状态。 |
| 可能会错过什么？ | 令人信服的反应背后的无效行动或副作用。 | 检测环境和定义的检查之外的行为。 |
| 保留了什么？ | 答案及其评分证据。 | 可重播的轨迹、验证者结果和范围来源。 |
定义测量合同。
这些维度并不意味着客户智能体已经被评分。
| 尺寸 | 当前证据/建议的测量 | 边界 |
|---|---|---|
| 任务成功 | 规范情节最终状态谓词。 | 今天的数据集验证；智能体成功率需要实际运行。 |
| 行动有效性 | 受控装置中的无效移动和参数约束。 | 仅针对已实施的操作架构进行验证。 |
| 轨迹效率 | 商定的步骤、时间或成本预算。 | 可配置；没有声称现有的效率得分。 |
| 故障处理 | 记录故障类型和故障状态。 | 实时工具故障需要特定环境的仪器。 |
| 恢复 | 重播检查恢复轨迹。 | 智能体恢复测量需要受控的故障试验。 |
| 约束合规性 | 显式环境规则检查。 | 客户端约束需要实施和负面测试。 |
| 国家诚信 | 初始/最终状态和保留的故障状态。 | 外部副作用需要商定的观察边界。 |
| 再现性 | 重置、重放和出处门。 | 外部服务可能仍然不确定。 |
私人评估包。
- 您的意见
- 智能体接口、授权任务、约束、失败场景和成功谓词。
- 商定的协议
- 保留的任务拆分、运行条件、重试策略以及实施哪些检查。
- 发货
- 每个任务的结果、轨迹、验证者证据、实际执行的总体措施和明确的限制。