Заметки из пространства между данными и поведением.

Пример успеха мало что говорит о том, что происходит, когда время работы инструмента истекает или предположение о состоянии становится недействительным. Данные об отказе полезны, когда они определяют состояние в момент прерывания и записывают последующие действия.

Траектория восстановления требует проверяемого результата. Объяснение агента является подтверждением того, что он сказал; среда и верификатор устанавливают, что именно изменилось. Держите эти два вида доказательств отдельно.

Воспроизведение превращает записанную траекторию в проверяемую последовательность. Исходное состояние, интерфейсы инструментов и зависимости должны быть достаточными для повторного выполнения той же задачи. Операция сброса делает эту отправную точку явной.

Воспроизводимость ограничена. Детерминированное тестовый сценарий полезно для проверки логики, но не доказывает, что работающий внешний сервис будет вести себя идентично. Запишите, что контролируется, что моделируется и что остается за пределами испытаний.

Синтетический мир может выявить последствия действий, не полагаясь на объяснение на естественном языке. Разработайте семейство задач, определите разрешенные переходы и выберите начальные состояния, которые дают идентифицируемые начальные состояния.

Принимайте действительные результаты и отвергайте правдоподобные неверные результаты. Отрицательные тесты помогают выявить проверяющего, который проходит слишком легко. Визуальный рендеринг иллюстрирует мир; он не является независимым подтверждением эпизода.

Валидность схемы — это один шлюз, а не весь результат. Сброс, воспроизведение, проверка конечного состояния и происхождение отвечают на разные вопросы о записи. Отклоненная запись должна сохранять причину, по которой она не была выполнена.

Независимые повторы усиливают доказательства, когда они действительно выполняют интерфейсы. Укажите объем аудита, сохраните его артефакты и избегайте представления качества набора данных как оценки производительности агента.