Google Cloud ускорила HeyGen Avatar IV на TPU Trillium для streaming video API

13 августа 2026 года Google Developers Blog сообщил, что HeyGen и Google Cloud перенесли Avatar IV на восьмичиповый Trillium TPU host и ускорили pipeline в 1.86 раза по сравнению с первой рабочей TPU-версией. Первоисточник: https://developers.googleblog.com/heygen-x-google-cloud-bringing-avatar-iv-to-tpus/

Avatar IV - это diffusion stack HeyGen для talking-head video generation. По данным Google, модельная часть доступна через Web и API, использует более 18B parameters и рендерит видео chunk by chunk: если очередной chunk опаздывает, streaming playback останавливается. Pipeline включает diffusion transformer для motion по audio, transformer для super-resolution и VAE decoder, который превращает latents в pixels.

Что именно сделали команды:

• перенесли production PyTorch model code через torchax, PyTorch frontend on JAX, без переписывания модели под native JAX;
• использовали FSDP sharding across eight chips, потому что два transformers вместе занимают более 36 GB bf16 weights при 32 GB HBM на Trillium chip;
• спрятали all-to-all collectives за attention work через grouping, чтобы XLA мог overlap transfers;
• перестроили sparse attention kernel так, чтобы frame-aligned blocks убрали mask predicates и padding;
• заменили часть online softmax dependency на precomputed upper bound, а неподходящие heads оставили на fallback path.

Google пишет, что итоговый TPU pipeline даёт performance, сравнимую с 8xH100 production setup HeyGen, и до 25% лучшую cost efficiency per minute of generated video. Это не универсальный benchmark TPU против GPU: результат относится к конкретному Avatar IV workload, quality gates и streaming deadline.

Практический чеклист для команд с video AI API: 1. Измеряй time per chunk, а не только average generation time, если playback начинается до конца генерации. 2. Логируй late chunks отдельно от model errors: пользователь видит stall, даже если API eventually возвращает результат. 3. Разделяй model latency, gateway timeout, provider quota и queue depth в observability. 4. Планируй fallback route для burst traffic, потому что один optimized accelerator path не защищает от quota или regional capacity limits. 5. Проверяй quality gates после каждого kernel или compiler optimization, а не только throughput.

Use streaming video generation API when the product can start playback before all frames are ready. The safest production pattern is to combine accelerator optimization with timeout budgets, 429 handling, queue control and fallback routing, because slow chunks can break UX так же явно, как hard API error.