Google представила DiffusionGemma с vLLM и OpenAI-compatible server

10 июня 2026 года Google представила DiffusionGemma, experimental open model для text generation на базе Gemma 4. Первоисточник: Google Blog - https://blog.google/innovation-and-ai/technology/developers-tools/diffusion-gemma-faster-text-generation/ Дополнительный источник: Google Developers Blog - https://developers.googleblog.com/en/diffusiongemma-the-developer-guide/

DiffusionGemma - это 26B Mixture of Experts model, которая активирует 3.8B parameters during inference и генерирует текст не строго слева направо, а через diffusion-подход: модель уточняет 256-token canvas параллельно. Google указывает до 4x faster token generation on dedicated GPUs, до 700+ tokens per second on NVIDIA GeForce RTX 5090 и 1000+ tokens per second on a single NVIDIA H100. Модель выпущена под Apache 2.0 license и рассчитана на исследователей и разработчиков speed-critical local workflows.

Для API market важна деталь из developer guide: DiffusionGemma можно запускать через vLLM standard OpenAI-compatible local server. Это значит, что локальный экспериментальный endpoint можно подключать к существующим OpenAI-style clients и agent tooling без отдельного клиентского SDK. Google также предупреждает о trade-off: для maximum quality компания рекомендует стандартную Gemma 4, а DiffusionGemma лучше подходит для local, low-concurrency и interactive workflows.

Практический чеклист для команд:

• тестируй DiffusionGemma на задачах с жёсткими acceptance criteria, а не только на speed demos;
• отделяй local endpoint от business logic через gateway или routing layer;
• держи fallback на standard Gemma 4, Gemini API или другой provider для задач, где качество важнее latency;
• логируй latency, token throughput, error rate, GPU memory pressure и fallback outcome;
• не переноси high-QPS cloud workloads на diffusion serving без cost и batching теста.

Use DiffusionGemma when local interactive generation matters more than maximum model quality. Безопасный production-паттерн - один OpenAI-compatible contract перед приложением: local vLLM endpoint берёт быстрые low-concurrency задачи, а gateway переключает запросы на cloud models при ошибках, лимитах, нехватке качества или перегрузе GPU.