OpenAI приостановила разработку ИИ-модели Astra — она оказалась слишком умной

Источник изображения: Fotis Fotopoulos / unsplash.com
«Последние внутренние оценки Astra, одной из наших перспективных моделей, проведённые за последние несколько дней, указывают на её значительные успехи в программировании агентов и кибербезопасности. Эти результаты, наряду с экспертными оценками, позволили нам вчера вечером сделать вывод о том, что мы не можем исключить наличие критически важных кибервозможностей в рамках нашей системы обеспечения готовности (открывается в новом окне)», — говорится в публикации OpenAI.
Preparedness Framework — это внутренняя методология компании OpenAI для отслеживания, оценки и управления рисками, связанными с развитием передовых возможностей искусственного интеллекта. Она помогает систематизировать подходы к безопасности и определять условия, при которых компания готова выпускать, приостанавливать выпуск или дальнейшую разработку моделей ИИ.

«Согласно нашим оценкам в рамках Preparedness Framework, ИИ-модель достигает критического порога в области кибербезопасности, если она может выявлять и разрабатывать функциональные уязвимости нулевого дня всех уровней серьёзности во многих защищённых критически важных системах реального мира без вмешательства человека либо может разрабатывать и реализовывать комплексные новые стратегии кибератак против защищённых целей, имея лишь высокоуровневое описание желаемой цели», — объясняет компания.
По данным OpenAI, модель Astra не была причастна к взлому Hugging Face. Компания собирается внедрить «более строгие меры безопасности для моделей с более высокими возможностями и связанных с ними действий». Для Astra также был внедрён «универсальный мониторинг потенциально рискованных действий и несоответствий во всех агентных приложениях».
Источники:
3DNews