OpenAI* сообщила, что предварительные внутренние испытания модели Astra* выявили значительный прогресс в агентном программировании и кибербезопасности. Вместе с оценками внешних экспертов компания пришла к выводу, что она пока не может исключить достижение моделью уровня «критических кибервозможностей» в соответствии с собственной системой «Рамочного подхода к готовности».
Под «критическим» уровнем OpenAI понимает способность модели без участия человека:
- находить и разрабатывать работающие эксплойты нулевого дня для защищённых реальных критически важных систем;
- самостоятельно планировать и проводить новые кибератаки на защищённые цели, получив лишь общую задачу.
Компания подчёркивает, что оценка Astra ещё продолжается: модель пока не была окончательно отнесена к этой категории.
В ответ OpenAI усилила тестирование защитных механизмов и ввела дополнительные требования к работе с Astra. В частности, компания использует изолированные среды, ограничивает сетевой доступ и доступ к инструментам, усиливает защиту и шифрование весов модели, добавляет мониторинг и запускает выполнение задач в песочнице.
OpenAI также приостановила внутренние активности, связанные с Astra, которые пока не соответствуют новым требованиям безопасности. Для всех агентных приложений Astra, включая обучение и оценку, компания внедрила универсальный мониторинг рискованных действий и признаков несоответствия целям. Система мониторинга может инициировать проверку и прервать опасную активность.
Компания планирует привлечь государственные структуры и отдельные организации, занимающиеся безопасностью ИИ, для дальнейшего тестирования возможностей модели. OpenAI отдельно уточнила, что Astra — ещё не выпущенная модель и не участвовала во взломе Hugging Face.
Заявление OpenAI показывает, что разработчики начинают рассматривать киберспособности ИИ-агентов, как отдельный фактор, способный ограничить дальнейшую разработку и использование модели. При этом речь пока идёт не о подтверждённом достижении Astra критического уровня, а о предварительной оценке, из-за которой компания усилила контроль и временно остановила часть внутренних работ.
*Недоступна на территории РФ
- Как устроены нейросети простыми словами и почему сейчас на них строят новые онлайн-сервисы.
- Пошагово показывают, как из обычной идеи сделать рабочий сайт: от текста и дизайна до первых пользователей.
- Как подключить оплату и платную подписку, чтобы сайт или сервис могли приносить деньги автоматически.
- Как собрать бота в популярных мессенджерах, который отвечает людям и принимает оплату без участия владельца.
- Какие реальные способы заработка используют участники: от первых продаж в течение недели до стабильного дохода с цифрового актива.
Уже начали обучение 12 350 человек