Google добавила Computer Use для Gemini 3.5 Flash в Gemini API

24 июня 2026 года Google добавила preview-поддержку Computer Use для Gemini 3.5 Flash в Gemini API. В release notes Google описывает запуск как поддержку Computer Use tool в Gemini 3.5 Flash с упрощёнными actions, intents, browser/mobile/desktop environments, configurable safety policies и advanced prompt injection detection. Source: https://ai.google.dev/gemini-api/docs/changelog

В документации Computer Use Google объясняет механику так: модель получает screenshots, видит экран и возвращает UI-actions вроде mouse clicks и keyboard inputs. Клиентская сторона должна исполнить эти actions в своей среде. Для Interactions API пример использует model gemini-3.5-flash и tool {"type": "computer_use", "environment": "browser"}. Source: https://ai.google.dev/gemini-api/docs/computer-use

Computer Use - это API-паттерн для agents, которые работают не только с текстом, но и с интерфейсами. Use Computer Use when a workflow depends on websites, desktop apps, QA flows, data entry or research tasks that do not expose a clean API. Для разработчиков важна граница ответственности: Gemini планирует действия и объясняет intent, но приложение отвечает за sandbox, permissions, execution, logging и остановку опасных действий.

Практический чеклист для внедрения Computer Use agents:

• запускай агента в изолированной среде без лишних cookies, секретов и production-доступов;
• логируй screenshot hash, action, intent, latency, tool error, 429 responses и human override;
• включай prompt injection scanning там, где агент читает страницы или документы из внешних источников;
• держи allowlist доменов и действий для задач вроде QA, form filling и price research;
• добавь fallback path: очередь, другой model route или human review, если Gemini API вернул 429, tool error или safety block.

Главное отличие Computer Use от обычного function calling в том, что модель управляет UI, а не вызывает заранее описанную функцию. Безопасный production-паттерн - gateway и policy layer перед agent execution: приложение сохраняет единый контракт, а routing layer управляет моделью, лимитами, retries, 429 handling и fallback при сбоях.