Google Cloud добавила model routing в API Gateway Public Preview

4 августа 2026 года Google Cloud объявила о запуске функции model routing в сервисе API Gateway в режиме Public Preview. Шлюз принимает запросы в формате, совместимом с OpenAI, преобразует полезную нагрузку на лету и направляет вызовы к моделям Gemini, Anthropic Claude или семейства OpenAI GPT, развёрнутым в Gemini Enterprise Agent Platform Model Garden. Первоисточник: https://developers.googleblog.com/a-unified-api-for-ai-model-routing/

Как работает маршрутизация в Google Cloud API Gateway

В рамках этого решения разработчик описывает правила маршрутизации в спецификации OpenAPI 3.x через расширения API Gateway, задаёт целевые бэкенды и связывает виртуальные имена моделей с развёрнутыми в Model Garden эндпоинтами. Клиентское приложение отправляет стандартный POST-запрос с полем model, а управляемый шлюз Google Cloud выбирает соответствующее правило, транслирует схему запроса и возвращает ответ. Техническая документация: https://docs.cloud.google.com/api-gateway/docs/model-routing-overview

Ограничения режима Public Preview и чеклист проверки

При проектировании интеграции важно учитывать документированные ограничения превью-версии:

• маршрутизация опирается на имя или тег модели в JSON-теле запроса;
• все целевые модели внутри одного роутера должны располагаться на одном хосте (например, aiplatform.googleapis.com или едином региональном эндпоинте);
• поддерживается потоковая передача ответа через server-sent events (SSE), но не поддерживаются потоковая передача запроса, gRPC, WebSockets и Gemini Live;
• требуется спецификация OpenAPI 3.x (OpenAPI 2.0 не поддерживается);
• режим model routing нельзя включить или выключить на уже созданном экземпляре шлюза — для изменения требуется новая конфигурация API и новый инстанс;
• шлюзы с model routing в превью не поддерживают периметр VPC Service Controls;
• максимальный таймаут составляет 3 600 секунд, а масштабирование с нуля может добавлять задержку холодного старта.

Практический чеклист перед тестированием:

1. Убедитесь, что все целевые модели развёрнуты в Model Garden и доступны на едином хосте.
2. Опишите правила в OpenAPI 3.x, задайте модель по умолчанию и контролируйте обязательную передачу поля model в каждом запросе клиента.
3. Измеряйте задержку холодного старта шлюза и время генерации модели раздельно.