Перейти к содержимому
Воскресенье, 22 ноября 2026 г.Бесплатное руководство
RU
dailyai
Исследование

OpenAI хочет, чтобы пределы разработки ИИ измерялись в “сложности” (perplexity) — и публикует собственные данные.

• 2 мин чтения
ДелитьсяXв

В воскресенье компания OpenAI предложила индустрии ИИ измерять и ограничивать свой прогресс одним показателем — перплексией, то есть тем, насколько хорошо модель в среднем предсказывает следующий токен, где чем ниже значение, тем лучше, — и опубликовала внутренние данные, которые она использует для отслеживания собственного предварительного обучения.

Предложение было изложено в эссе “Замешательство и интеллект” Якуба Пачоцкого, главного научного сотрудника OpenAI. Он утверждает, что разработчики должны договориться об “общих ограничениях”, которые ни одна лаборатория не должна переступать до тех пор, пока не будут достигнуты конкретные этапы обеспечения безопасности — например, о замене механизмов мониторинга логики, которые отслеживают ход рассуждений модели на предмет признаков неполадок.

Чтобы сделать такие сравнения возможными, Пачоцки опубликовал внутренние показатели логарифмической перплексии OpenAI для основного оценочного набора данных. По его словам, GPT-3.5 показал результат около 0,99, а GPT-4 — около 0,91; ниже 0,8 компания наблюдала “трансформационные возможности в таких областях, как кибербезопасность и математика”, и при значении около 0,76 модель “начала давать новаторские результаты” в математике — области, которая все еще осмысливает Подтверждение заявления с помощью ИИ. Он предупреждает, что “априори не было совершенно ясно, появятся ли эти возможности после достижения указанных пороговых значений перплексии”. Эти утверждения исходят от OpenAI и не были независимо проверены.

Он прогнозирует дальнейшие трансформационные возможности в диапазоне 0,68–0,7, признавая: “Я не знаю, какими именно будут эти возможности”, и говорит, что “лавина фундаментальных достижений в области предварительного обучения” может появиться “уже в 2027 году”. Среди недостатков он перечисляет: лаборатории обучаются на разных данных, и их результаты трудно сопоставить; перплексия не соответствует ни одной задаче, которая важна для людей; более эффективное рассуждение не снижает её; её нижний предел неизвестен.

Публикация этих цифр “потребовала некоторого обдумывания”, пишет он, потому что это дает конкурентам более четкое представление о положении OpenAI — опасение, которое, по его словам, перевешивается “неотложной необходимостью внедрения общих мер безопасности в масштабах всей отрасли”.

Почему это важно: По всей видимости, это первый случай, когда передовая лаборатория обнародовала внутренние данные о предварительном обучении, и это превращает абстрактную дискуссию о безопасности в отслеживаемый показатель. Если другие лаборатории откажутся от такой же прозрачности, предложение застопорится на первом же препятствии: сравнении. Если же они последуют этому примеру, будущие “гонки” в области ИИ могут сопровождаться ограничениями скорости, прописанными в единицах измерения, которые уже используют инженеры.