GDPval: как оценивать AI-модели по готовым рабочим результатам

OpenAI представила GDPval 25 сентября 2025 года. Это бенчмарк для сравнения готовых рабочих результатов: документов, таблиц, презентаций и других артефактов. Для команды, выбирающей AI API, он полезен как пример постановки оценки: проверять не красоту ответа, а пригодность результата к использованию.

Что проверяет GDPval

Первый набор охватывает 44 профессии из девяти отраслей экономики США. Полный набор содержит 1320 заданий, открытая часть — 220. Эксперты сравнивают результаты моделей с работами специалистов по заданным критериям. Эти числа относятся к опубликованной версии исследования, а не ко всем возможным профессиональным задачам.

Чего результат бенчмарка не доказывает

OpenAI описывает ограничения однократной оценки: она не воспроизводит всю переписку с заказчиком, уточнение требований и последовательные исправления. Хороший результат на готовом наборе не определяет качество конкретной интеграции. Время проверки человеком и настройки приложения также нужно учитывать отдельно от стоимости вызова модели.

Как применить подход к своему API

Соберите небольшой набор обезличенных заданий из реального процесса. Для извлечения данных из документов заранее задайте обязательные поля, допустимые значения и правила обработки пропусков. Для презентации проверьте числа, источники и возможность открыть получившийся файл. Сохраните одинаковые входные данные для всех кандидатов.

Записывайте версию модели, параметры, стоимость вызова, время получения результата и ручные исправления. Отдельно считайте технический успех запроса и принятие результата специалистом: HTTP 200 сам по себе не означает выполненную задачу. Повторите спорные задания, чтобы увидеть разброс качества.

Перед сравнением проверьте доступные идентификаторы в каталоге API429. Схемы запросов находятся в документации API. Выбирайте модель по стоимости принятого результата, а не только по цене токена.