Перейти к содержимому
Вторник, 17 ноября 2026 г.Бесплатное руководство
RU
dailyai
Характеристики

Компания OpenAI разрешила четырем сторонним лабораториям проверить свои модели на месте.

Четыре независимые исследовательские группы будут работать внутри OpenAI, чтобы проверить, остаются ли модели под контролем во время обучения и частного использования. Две из групп уже установили ограничения на то, что они могут видеть и публиковать.

• 5 минут чтения
ДелитьсяXв

Четыре независимые исследовательские группы теперь будут работать в составе OpenAI и проверять, остаются ли модели под контролем во время их обучения и использования в закрытом режиме. В число этих групп входят Apollo Research, METR, Transluce и Goodfire.

Компания опубликовала соглашения 16 ноября. Эта работа называется «встроенная оценка». Это означает, что сторонние специалисты получают доступ на согласованный период к некоторым из тех же внутренних моделей, данных и инструментов, которые используют собственные исследователи компании. Цель состоит в проверке соответствия, то есть, выполняет ли модель то, что задумали ее создатели, и смогут ли системы защиты компании выявить ее несоответствие.

Что будут делать четыре группы?

В рамках четырехмесячного пилотного проекта на месте будет задействована команда из шести человек. That team, from Apollo Research, will test whether the AI systems try to get around their own safety controls, or those of later systems. Subversion, here, means secretly working against the instructions of the people who built the system.

The group will examine four claims, in two stages: that model training did not encourage this behaviour; that tough tests do not bring it out; that it has not appeared during internal use; and that the reasoning behind it would be spotted. The first public report will cover incentives in model training. The second will cover tests, internal use, and whether that reasoning would be detectable.

В начале декабря должен начаться шестинедельный анализ результатов тестов, проведенных после обучения. Transluce, a nonprofit research lab, will look at how well those tests pick up behaviours such as deception, manipulation and reward hacking. Reward hacking is when a model learns to score well on a test without doing the job the test was meant to measure. The group says it will have access to a handful of models, including at least one that has not been released, and to the written reasoning steps produced by the models.

METR планирует оценить несоответствие поведения в рамках того, что компания называет крупнейшим на сегодняшний день исследованием с использованием метода обучения с подкреплением. Обучение с подкреплением — это метод обучения, который вознаграждает модель за ответы, получившие высокие оценки. Второй обзор систем мониторинга компании все еще ожидает согласования масштабов обеими сторонами. Компания отметила, что первый из этих обзоров более узкий, чем более широкое исследование несоответствий, предложенное той же группой.

A fourth group will watch model training sessions from the inside and publish findings as the work goes on. Goodfire will send interpretability researchers to work at OpenAI and will use its own tools to inspect a model’s inner workings, rather than judging it only by what it says. The company says the main audience for this work is its own researchers.

Хотите, чтобы ИИ экономил вам часы в неделю? Наше бесплатное руководство покажет вам, как это сделать.Получите бесплатное руководство →

Что они смогут увидеть, а что нет.

The access is wide on paper. Assessors can be given saved copies of models from during training, source code, training and evaluation data, monitoring systems, technical documents and conversations with staff, plus the tools and computing power to run their own tests. People who need sensitive information will work in the company’s offices, on company devices.

Ограничения имеют такое же значение, как и доступ. Компания Apollo Research заявляет, что пилотный проект пока не соответствует собственным критериям полного доступа и раскрытия информации. Однако он отвечает стандарту группы, определяющему право публично объяснять, что было разрешено, а что не разрешено видеть и публиковать. “Этот пилотный проект — амбициозный первый шаг к расширению прав на доступ и раскрытие информации, даже если он пока не соответствует вышеуказанным критериям”, — написала группа.

The company may withhold some information that falls within the agreed scope if it decides that is reasonably necessary for technical reasons, security, or to protect intellectual property. It has agreed not to withhold material simply because a finding is unfavourable, and to give written reasons when it refuses access. It also chooses which staff the assessors may interview. Formal talks with staff cannot be quoted unless the company attests to a statement that can be published. The on-site team from Apollo Research will not have default access to the company’s general staff message channels.

Both Apollo Research and Transluce will write public reports, and the company can ask for confidential material to be removed before publication. It may not remove Apollo Research’s verdict on each claim, or demand deletions just because a finding is unfavourable. It can still remove evidence that it treats as sensitive intellectual property, even when that evidence supports a conclusion. Readers of the public reports may therefore be unable to check all of the evidence behind a published finding. Transluce says it cannot publish results that relate only to unreleased models, so its public report will cover released models only. It also said the access in this pilot is not comparable to employee-level access.

Неотредактированные отчеты будут направлены в Комитет по безопасности, независимый комитет совета директоров Фонда OpenAI. Эксперты и члены комитета могут общаться друг с другом в частном порядке. Если компания и эксперт не придут к согласию, вопрос может быть поднят перед этим комитетом. Apollo Research и Goodfire получают оплату за свою работу. Компания заявляет, что оплата не зависит от результатов. METR и Transluce не берут плату, хотя могут получать вычислительные кредиты.

Почему это происходит именно сейчас?

The company said the new assessments also build on its investigation of a July security incident at a major site that hosts AI models. В нашем предыдущем репортаже рассматривалась последовавшая за этим жалоба со стороны государства. The company also said the work supports its commitments under an American government agreement on advanced AI, referred to there as super intelligence, in which it agreed to independent assessments of its safety controls.

Transluce has already agreed with the company that it intends to return in early 2027 for a longer, deeper review, lasting about eight weeks. The company says it expects this first phase to lead to longer-term work of the same kind, with outside researchers remaining on site, and that it is exploring future reviews of how it follows its own safety rules, as well as of its culture and processes.

Почему это важно: Разрешение сторонним исследователям присутствовать в ведущей лаборатории искусственного интеллекта — это более четкая форма контроля, чем разовое тестирование непосредственно перед запуском. Общественная ценность этой работы будет зависеть от того, что группам будет разрешено видеть и публиковать, и две из них уже подробно изложили эти ограничения.