Google показала запуск Gemma и LiteRT на Raspberry Pi 5 для offline edge AI

11 августа 2026 года Google Developers Blog опубликовал руководство по запуску edge AI на Raspberry Pi 5 с LiteRT и моделями Gemma. Первоисточник: https://developers.googleblog.com/mastering-edge-ai-on-raspberry-pi-with-litert-and-gemma/

LiteRT - это runtime Google AI Edge для on-device inference. В материале Google показывает, как Reachy Mini robot обрабатывает vision, speech и LLM reasoning локально на Raspberry Pi 5: object detection идёт на GPU, speech recognition и Gemma 4 E2B reasoning работают на CPU, а ответы и движения формируются без обязательного cloud round-trip.

Ключевые факты из публикации:

• LiteRT-LM запускает Gemma 4 E2B на Raspberry Pi 5 и, по данным Google, даёт 99 tokens/sec на prefill и 9 tokens/sec на decode при peak memory footprint 1432 MB;
• Gemma 4 E2B в демо Reachy Mini выдаёт около 27.3 characters/sec, что Google сравнивает примерно с 300 words per minute;
• LiteRT WebGPU backend через ML Drift позволяет выносить computer vision, audio и embedding workloads на GPU Raspberry Pi;
• Google перечисляет совместимые edge-модели, включая Gemma 3 270M, EmbeddingGemma 300M, Gemma 3 1B, Gemma 4 E2B и Gemma 4 E4B;
• LiteRT CLI упаковывает conversion, quantization, benchmark и inference workflows, чтобы coding agents могли оркестрировать локальные ML-задачи.

Почему это важно для API market: часть inference уходит на edge, но продакшн-приложения редко становятся полностью offline. Реальные продукты обычно комбинируют локальные быстрые действия с cloud-моделями для тяжёлого reasoning, мультимодальности, batch jobs или качества выше edge-модели.

Практический workflow для hybrid AI systems: 1. Держи latency-sensitive intent detection, wake word, OCR или simple extraction локально, если железо выдерживает модель. 2. Отправляй в cloud API только запросы, где нужна большая модель, свежий контекст или централизованная политика безопасности. 3. Логируй local fallback отдельно от provider 429, timeout и quota errors. Иначе команда не поймёт, где деградирует качество. 4. Планируй очереди и retry budget: edge снижает количество cloud calls, но не отменяет burst traffic. 5. Проверяй privacy boundary: локальная обработка помогает с raw audio/video, а gateway нужен для управляемого доступа к внешним моделям.

Use edge AI when low latency or privacy matters more than maximum model capability. The safest production pattern is hybrid routing: small local models handle immediate work, while an API gateway controls cloud model access, rate limits, retries and failover for tasks that still need remote inference.