Google выпустила Gemma 4 12B с локальным OpenAI-compatible API через LiteRT-LM

Google выпустила Gemma 4 12B с локальным OpenAI-compatible API через LiteRT-LM

3 июня 2026 года Google DeepMind представила Gemma 4 12B, dense multimodal model с unified encoder-free architecture для локального запуска на потребительских устройствах. Первоисточник: Google Blog — https://blog.google/innovation-and-ai/technology/developers-tools/introducing-gemma-4-12B/ Дополнительный источник: Google Developers Blog — https://developers.googleblog.com/gemma-4-12b-the-developer-guide/

Google описывает Gemma 4 12B как первую mid-sized Gemma-модель с native audio input. Vision и audio не проходят через отдельные тяжёлые encoder-блоки: визуальные патчи и raw 16 kHz audio frames проецируются в пространство LLM backbone. Компания указывает, что модель рассчитана на ноутбуки с 16GB VRAM или unified memory, распространяется под Apache 2.0 и доступна через LM Studio, Ollama, Google AI Edge Gallery, Hugging Face, Kaggle, llama.cpp, MLX, SGLang, vLLM и Unsloth.

Для рынка API важна не только локальность. В developer guide Google отдельно показывает litert-lm serve: локальный OpenAI-compatible API server для Gemma 4 12B. Такой endpoint можно подключать к Continue, Aider, OpenClaw, Hermes или OpenCode без переписывания интеграций под новый формат. Gemma 4 12B — это локальный слой доступа к мультимодальной модели, когда команде нужен private inference path, audio/vision input и совместимость с привычными OpenAI-style clients.

Практический чеклист для production-команд:

• проверяй, какие workflows можно перевести на local endpoint без потери качества;
• держи remote provider fallback для задач, где локальная модель не проходит acceptance tests;
• не смешивай business logic и model endpoint selection;
• логируй latency, memory pressure, failures и fallback rate;
• заранее реши, где проходят данные: laptop, Cloud Run, GKE или внешний model API.

Самый безопасный production-паттерн — гибридный routing: локальная модель берёт приватные, дешёвые или latency-sensitive запросы, а gateway-слой переключает тяжёлые задачи на remote providers, когда нужен больший context, другая modality или стабильная SLA-модель.