ГРАНИЦА ТОЛЬКО ОТВЕТОВ
Оцените ответ.
- Возвращенный ответ
- Эталонное сравнение
- Оценка ответа
03 / доказательства важнее впечатлений
Частная оценка
Выдержит ли результат еще одну попытку?
Тест только для ответов может оценить ответ, не упустив при этом того, что сделал агент. Оценка, основанная на окружающей среде, записывает действия и проверяет их последствия на соответствие явным правилам и предикатам задачи.
Частная оценка начинается с интерфейса вашего агента, авторизованной среды и оценочного вопроса. Перед выполнением мы согласовываем запланированные задачи, разрешенные инструменты, условия выполнения, сценарии сбоев и границы отчетности.
Текущие данные GameOps демонстрируют проверку набора данных, а не измерение производительности агента клиента. Возможности коммерческих измерений настраиваются и проверяются на соответствие согласованной среде, прежде чем выдается отчет о результатах.
Оценки публичных чат-ботов
Пока ни одна реальная оценка чат-бота не одобрена для публикации.
- Опубликованные запуски
- 0
- Опубликованные сообщения
- 0
Изучить три предложения ↗ · Методика и результаты WFRB v0 ↗ · Программа пилотного сотрудничества ↗
Ответы против последствий.
ГРАНИЦА, ЗАЗЕМЛЕННАЯ НА ОКРУЖАЮЩУЮ СРЕДУ
Осмотрите пробег.
- Действие + наблюдаемое состояние
- Проверка ограничений + результатов
- Доказательства проверяющего лица
Сравнение границ инструментов, а не выполненный бенчмарк для клиентов.
| Вопрос | Тест только для ответов | Экологическая оценка |
|---|---|---|
| Что проверяется? | Возвращенный ответ по ссылке или рубрике. | Действия, переходы и конечное состояние противоречат правилам среды. |
| Что может быть упущено? | За убедительным ответом стоят неверные действия или побочные эффекты. | Поведение вне инструментированной среды и определенных проверок. |
| Что сохраняется? | Ответ и его оценка. | Воспроизводимая траектория, результат проверки и ограниченное происхождение. |
Определите договор об измерениях.
Эти параметры не являются утверждением о том, что агент по работе с клиентами уже получил оценку.
| Размерность | Текущие данные/предлагаемые измерения | Граница |
|---|---|---|
| Успех задачи | Предикаты конечного состояния канонического эпизода. | Проверка набора данных сегодня; показатель успеха агента требует реальных запусков. |
| Срок действия действия | Недопустимые перемещения и ограничения аргументов в управляемых приборах. | Проверено только для реализованной схемы действий. |
| Эффективность траектории | Согласованный бюджет шагов, времени или затрат. | Настраиваемый; не заявлено ни одного существующего показателя эффективности. |
| Обработка сбоев | Записанные типы отказов и состояния отказов. | Отказы работающих инструментов требуют применения инструментов, адаптированных к конкретной среде. |
| Восстановление | Повтор проверил траектории восстановления. | Измерения восстановления агента требуют контролируемых испытаний на отказ. |
| Соблюдение ограничений | Явные проверки правил среды. | Ограничения клиента требуют реализации и отрицательных тестов. |
| Государственная целостность | Начальное/конечное состояние и сохраняющееся состояние отказа. | Внешние побочные эффекты требуют согласованных границ наблюдения. |
| Воспроизводимость | Сброс, повтор и ворота происхождения. | Внешние службы могут оставаться недетерминированными. |
Частный оценочный пакет.
- Ваш вклад
- Интерфейс агента, авторизованные задачи, ограничения, сценарии сбоев и предикаты успеха.
- Согласованный протокол
- Разделение отложенных задач, условия выполнения, политика повторных попыток и реализованные проверки.
- Доставка
- Результаты для каждой задачи, траектории, доказательства, совокупные фактически выполненные меры и явные ограничения.