Perspectives d'ingénierie sur les données et le comportement. Ces notes expliquent notre approche ; ce ne sont pas des résultats de référence exécutés.
01 / NOTE DE TERRAINPourquoi les données de défaillance sont importantes pour les agents autonomes
Un exemple de réussite en dit peu sur ce qui se passe lorsqu’un outil expire ou qu’une hypothèse d’état devient invalide. Les données de défaillance sont utiles lorsqu'elles identifient l'état au point d'interruption et enregistrent les actions qui suivent.
Une trajectoire de récupération nécessite un résultat vérifiable. L’explication de l’agent est la preuve de ce qu’il a dit ; l'environnement et le vérificateur établissent ce qu'il a changé. Séparez ces deux types de preuves.
Pourquoi les environnements rejouables sont importants
La relecture transforme une trajectoire enregistrée en une séquence testable. L'état initial, les interfaces des outils et les dépendances doivent être suffisants pour exécuter à nouveau la même tâche. Une opération de réinitialisation rend ce point de départ explicite.
La reproductibilité est limitée. Un appareil déterministe est utile pour vérifier la logique, mais ne prouve pas qu'un service externe en direct se comportera de manière identique. Enregistrez ce qui est contrôlé, ce qui est simulé et ce qui reste en dehors des limites du test.
Construire des mondes synthétiques déterministes
Un monde synthétique peut exposer les effets des actions sans s’appuyer sur une explication en langage naturel. Concevez une famille de tâches, définissez les transitions autorisées et choisissez des graines qui donnent des états initiaux identifiables.
Acceptez les résultats valides et rejetez les résultats incorrects plausibles. Les tests négatifs aident à révéler un vérificateur qui réussit trop facilement. Un rendu visuel illustre le monde ; il ne certifie pas indépendamment un épisode.
Qu’est-ce qui rend un ensemble de données d’agent vérifiable ?
La validité du schéma est une porte, pas l'ensemble du résultat. La réinitialisation, la relecture, la vérification de l’état final et la provenance répondent chacune à une question différente sur un enregistrement. Un enregistrement rejeté doit conserver la raison pour laquelle il a échoué.
Les rediffusions indépendantes renforcent la piste des preuves lorsqu’elles exécutent réellement les interfaces. Indiquez la portée de l'audit, conservez ses artefacts et évitez de présenter le contrôle qualité des ensembles de données comme un score de performance d'agent.
