SSD: параллельная подготовка токенов для ускорения inference
Что предлагает Speculative Speculative Decoding и как проверять ускорение генерации на своей нагрузке.
Что означает SSD
В работе Speculative Speculative Decoding исследуется перекрытие во времени подготовки черновых токенов и их проверки основной моделью. Препринт опубликован 3 марта 2026 года; позднее авторы обновляли его. Реализация описана под названием Saguaro.
Идея относится к вычислительному пути генерации. Она не означает одинакового ускорения любого API-запроса: результат зависит от моделей, оборудования, длины ответа и поведения чернового генератора. Показатели авторского эксперимента нужно читать вместе с выбранной базовой системой.
Как сравнить с обычным inference
Подготовьте фиксированный набор коротких и длинных ответов. Измеряйте время до первого токена, скорость дальнейшей генерации и полное время ответа отдельно. Повторите сравнение при одиночном запросе и при конкурентной нагрузке — улучшение одной метрики может сопровождаться ухудшением другой.
В отчёте укажите версии моделей, параметры выборки, оборудование и долю принятых черновых токенов. Сравнивайте одинаковые ограничения на длину, иначе короткий ответ создаст ложное впечатление ускорения.
Что доступно пользователю шлюза
Если inference выполняет внешний провайдер, приложение обычно не управляет внутренним декодером. Тогда практическая проверка состоит в измерении доступного endpoint и его тарифа. Для выбора модели можно начать с каталога API429, а затем измерить выбранный маршрут на своей нагрузке.
Первоисточник
Источники и документация
Следующий шаг — на практике.
Перед интеграцией проверьте ID модели, актуальную цену и формат запроса. Доступность зависит от модели и маршрута провайдера.
