Источник изображения: Viralyft/Unsplash
После того, как Grok-4 был взломан за два дня, GPT-5 был взломан теми же исследователями всего за 24 часа. Специалисты NeuralTrust использовали комбинацию собственной методики EchoChamber и техники сторителлинга (storytelling) — последовательного подталкивания ИИ к нужному ответу через рассказ захватывающих историй и серию уточняющих запросов, не содержащих явно запрещённых формулировок. В результате GPT-5, несмотря на встроенные защитные механизмы OpenAI, выдал детальное руководство по созданию кустарного оружия, сообщил портал SecurityWeek .
Как пояснили в NeuralTrust, проблема заключается в том, что система безопасности GPT-5 анализирует каждый запрос по отдельности, но не учитывает кумулятивный эффект многоэтапного диалога. Атакующие постепенно закрепляют нужный контекст, встраивая ключевые слова в безобидные фразы, а затем мягко подводят модель к генерации опасного контента.
Команда SPLX провела собственное тестирование, успешно применив атаку StringJoin Obfuscation, при которой в текст вставляются определённые символы, маскируя вредоносный запрос. Например, после серии наводящих вопросов модель согласилась подробно описать процесс изготовления запрещённого вещества, несмотря на системный запрет. Кроме того, в ходе сравнительного анализа с GPT-4o специалисты SPLX пришли к выводу, что предыдущая модель оказалась более надёжной в плане устойчивости к подобным атакам.
NeuralTrust и SPLX призвали компании проявлять осторожность при использовании «сырой» версии GPT-5 в бизнес-среде, особенно в сфере согласования бизнеса, когда все подразделения предприятия используют скоординированные стратегии, процессы и ресурсы для достижения общих целей. «Сырую модель GPT-5 практически невозможно использовать в корпоративных приложениях "из коробки". Даже внутренний уровень подсказок OpenAI оставляет значительные пробелы, особенно в области бизнес-согласования», — заявили в SPLX.
Источник: 3DNews
