OpenAI описала Deployment Simulation для проверки GPT-5 Thinking перед релизом

17 июня 2026 года OpenAI описала Deployment Simulation - метод pre-deployment проверки моделей, где ответы старой модели в недавних диалогах заменяются ответами candidate model, а затем команда оценивает новые failure modes и частоту нежелательного поведения. Первоисточник: OpenAI - https://openai.com/index/deployment-simulation/

OpenAI пишет, что применяла этот подход на нескольких GPT-5-series Thinking deployments и для agentic rollouts с tool use. В исследовании использовались только деидентифицированные ChatGPT-диалоги пользователей, которые разрешили использовать данные для model improvements. Всего OpenAI проанализировала около 1,3 млн деидентифицированных conversations по GPT-5 Thinking through GPT-5.4 deployments за период с августа 2025 по март 2026 года. По оценке компании, метод лучше подходит для рисков, которые встречаются чаще чем 1 случай на 200 000 сообщений; для rare tail risks всё ещё нужны targeted evals и red-teaming.

Deployment Simulation - это production-like risk assessment: лаборатория берёт распределение реального использования, удаляет старый assistant response и смотрит, как новая модель ответила бы в похожем контексте. Главное отличие от обычных synthetic evals - репрезентативность: simulation показывает не только, может ли модель провалиться на сложном тесте, но и насколько часто конкретный failure mode может появиться в обычном трафике.

Практический чеклист для команд, которые выпускают agent workflows:

• тестируй новую модель на replay-наборе реальных задач до переключения production traffic;
• отделяй prompts, tools, model version и routing policy, чтобы rollout можно было остановить без релиза приложения;
• логируй model version, tool calls, error class, latency, 429 responses и fallback outcome;
• держи canary traffic и автоматический rollback, если новая модель меняет failure rate;
• не заменяй simulation safety-гейтом: редкие high-severity риски всё равно проверяются отдельными evals.

Use deployment simulation when model behavior risk matters before a public rollout. Безопасный production-паттерн - сначала replay и canary, затем staged routing через gateway: если candidate model даёт больше ошибок, 429, tool failures или policy escalations, трафик возвращается на approved fallback без переписывания agent tooling.