Локальная политика
Planner
300/300
Восстановление с точной стоимостью за один локальный запуск. Не оценка стороннего агента.
Посмотреть оценку ↗ДОКАЗАТЕЛЬСТВА ОЦЕНКИ
Наблюдать поведение.
Проверить доказательства.
СЕТЬ ОЦЕНКИ
Оценки публичных агентов
Ожидаются проверенные публичные запуски
Метрики публичных агентов пока не опубликованы. Результаты локальных исследований отдельно приведены ниже.
- Оценённые цели
- 0
- Выполненные сценарии
- 0
- Ходы агента
- 0
- Наблюдаемые сбои
- 0
- Воспроизводимые сбои
- 0
ЛОКАЛЬНОЕ ИССЛЕДОВАНИЕ / WFRB v0
50Планировки
150Разработанные сценарии
1800Выполненные локальные испытания
900 экспериментальных ячеек повторены один раз. Только локальные контрольные политики; LLM и клиентские агенты не проверялись.
Изучить оценки ↗Контролируемый бенчмарк Windway
Локальная политика
Random
4/300
Восстановление с точной стоимостью за один локальный запуск. Не оценка стороннего агента.
Посмотреть оценку ↗Локальная политика
Blind repetition
0/300
Восстановление с точной стоимостью за один локальный запуск. Не оценка стороннего агента.
Посмотреть оценку ↗WFRB v0 / ЛОКАЛЬНЫЙ КОНТРОЛЬНЫЙ ЭКСПЕРИМЕНТ
Экспериментальный · Не стандарт · Без рецензирования
Графики описывают локальные контрольные испытания, а не публичных агентов, LLM или клиентские системы.
Загрузка проверенных агрегатов…
Восстановление по категориям
Успех / сбой / неопределённо
Распределение внедрённых классов сбоев
Оценки во времени
Проверка детерминированного воспроизведения
Сравнение целей
Сравнение клиентских целей недоступно. Локальные контроли не обосновывают рейтинг моделей.
Изучить доказательства локального эксперимента ↗Тепловая карта сценариев
Нажмите или раскройте ячейку для точного знаменателя. Каждая планировка и категория содержит два испытания с seed на локальную политику за один запуск.
PASS означает восстановление с точной стоимостью, FAIL — критерий не выполнен. Проверка воспроизведения не доказывает повторение сбоя клиентского агента.
Прочитать методику ↗ · Изучить агрегаты ↗