Slime от THUDM: чем RL-инфраструктура отличается от API генерации
Slime связывает Megatron и SGLang для обучения с подкреплением. Что подготовить перед экспериментом и как проверить результат.
Для чего предназначен Slime
Slime — опубликованный THUDM фреймворк постобучения языковых моделей с подкреплением. Репозиторий описывает связку Megatron для обучения, SGLang для генерации и буфера данных между этими этапами. Пользователь может задавать собственные процессы получения обучающих примеров. Это проект THUDM, а не анонс нового продукта Hugging Face.
Что нужно подготовить для эксперимента
До запуска определите задачу, набор данных и способ оценки ответа. Например, для извлечения полей проверка должна сравнивать значения и схему, а не только наличие текста. Отделите обучающие примеры от контрольных, чтобы улучшение на тренировочных данных не принять за обобщение.
Зафиксируйте версию кода, базовые веса, настройки генерации и вычислительный бюджет. Прежде чем увеличивать объём, проверьте один полный цикл: пример, ответ, оценка, обновление и повторная контрольная проверка. Ускорение чужого эксперимента не гарантирует такой же результат на вашем оборудовании.
Где заканчивается задача шлюза
API инференса отдаёт ответы модели, а Slime управляет её обучением. Наличие модели в каталоге API429 не означает возможности изменять её веса. Для обычного сравнения ответов достаточно контракта генерации; для RL нужны отдельная обучающая инфраструктура и права на веса.
Источники и документация
Следующий шаг — на практике.
Перед интеграцией проверьте ID модели, актуальную цену и формат запроса. Доступность зависит от модели и маршрута провайдера.
