AutoAgent: как улучшать агентный harness через проверяемые эксперименты
AutoAgent изменяет обвязку агента и проверяет результат на задачах. Как отделить улучшение от подгонки под тесты.
Что оптимизирует AutoAgent
Third Layer представила AutoAgent 2 апреля 2026 года. Проект исследует автоматическое улучшение harness — кода и правил, которые окружают модель: инструментов, инструкций, управления контекстом и проверки результата. Метаагент меняет эту обвязку, запускает оценку и сохраняет удачные изменения; ухудшения откатываются.
В этой схеме центральное место занимает измеримая задача. Без заранее заданного критерия успеха более длинный ответ или большее число действий легко принять за улучшение. Результаты авторов на отдельных тестах не определяют качество на данных другого приложения.
Как подготовить собственный эксперимент
Выберите один рабочий процесс: например, заполнение таблицы по документу. Отделите набор задач для оптимизации от контрольного набора, который агент не использует при изменении harness. Проверяйте итоговые значения и формат файла, а не убедительность объяснения.
Для каждой версии сохраняйте инструкции, модель, доступные инструменты, стоимость и долю верных результатов. Ограничьте число итераций и бюджет. Изменение стоит принять, если оно улучшает контрольный набор без неприемлемого роста времени и расходов.
Что переносить в приложение
Сначала перенесите конкретную удачную правку в отдельную ветку: схему инструмента, проверку ответа или правило работы с контекстом. Проведите обычный review и повторите проверку на новых примерах. Такая процедура позволяет понять, что именно помогло, и вернуть прежнее поведение при регрессии.
Первоисточник
Источники и документация
Следующий шаг — на практике.
Перед интеграцией проверьте ID модели, актуальную цену и формат запроса. Доступность зависит от модели и маршрута провайдера.
