Google вывела Agent and Model Evaluations в GA для Gemini Enterprise Agent Platform
Google сделала Agent and Model Evaluations общедоступными в Gemini Enterprise Agent Platform: метрики, эксперименты, online monitoring и drift alerts доступны для production-агентов.
31 июля 2026 года Google сообщила, что сервис Agent and Model Evaluations в составе Gemini Enterprise Agent Platform перешёл в статус общедоступного (GA). Первоисточник: https://developers.googleblog.com/agent-and-model-evaluations-in-gemini-enterprise-agent-platform-are-now-ga/
Что вошло в GA-релиз Agent and Model Evaluations
Agent and Model Evaluations — это инструмент для оценки качества работы агентов и моделей по единому набору метрик как на этапе предрелизного тестирования, так и при мониторинге рабочего трафика. Использование общего движка для локальных прогонов, серверных экспериментов и непрерывной оценки позволяет сопоставлять результаты без расхождений в методике подсчёта:
- более 20 готовых метрик для оценки качества ответа, безопасности, точности опоры на контекст (grounding), корректности вызова инструментов и траектории выполнения задачи;
- адаптивные рубрики (adaptive rubrics), формирующие критерии проверки под конкретный тестовый сценарий, системную инструкцию и схему инструментов;
- хранение артефактов экспериментов в Cloud Storage, а также симуляторы пользователя и внешней среды для проверки многошаговых диалогов и сбоев внешних сервисов;
- онлайн-мониторы, интеграция с телеметрией, графики динамики оценок и оповещения о деградации (drift alerts) на реальных трассах;
- запуск проверок через Agent Platform SDK, утилиту
agents-cli, консоль Google Cloud и фреймворк ADK.
Как связать офлайн-проверки и мониторинг в продакшне
Практический порядок работы для команд, развивающих агентные сервисы:
- Сформируйте эталонный набор тестовых сценариев для ключевых пользовательских задач и схем вызова инструментов.
- Прогоняйте новую версию промпта, кода агента или кандидата на смену модели по этому набору до выкатки в продакшн.
- Разделяйте в мониторинге падение метрик качества ответа и инфраструктурные ошибки вызова API (таймауты, коды 429, ошибки валидации JSON-схемы).
- При обнаружении деградации проверяйте сохранённые трассы шагов агента, чтобы установить, вызван ли сбой изменением поведения модели или отказом внешнего инструмента.
Комментарий API429
Сервис оценок Google решает задачу измерения качества внутри экосистемы Gemini Enterprise. Независимо от выбранной платформы оценки, перед переключением рабочей модели проверяйте её идентификатор в GET /v1/models, актуальный контракт вызовов в /docs и стоимость токенов в /pricing, а регрессионные прогоны и проверку ответов интегрируйте в собственный пайплайн деплоя.
Источники и документация
Следующий шаг — на практике.
Перед интеграцией проверьте ID модели, актуальную цену и формат запроса. Доступность зависит от модели и маршрута провайдера.
