ИИ DeepMind Google Оксфорд
Об этом заявили исследователи из команды Google DeepMind и Оксфорда.
В одной из
последних статей , опубликованной авторитетным журналом AI Magazine, исследователи объяснили, как ИИ может выйти из под контроля и нанести серьезный вред человечеству. По их мнению, если одна из самых успешных моделей ИИ – GAN или генеративно-состязательные нейросеть, будет контролировать процессы, жизненно важные для человечества, она может попытаться обмануть стандартный алгоритм и разработать стратегию, чтобы максимально быстро и эффективно получать вознаграждение. Причем, эта стратегия может быть крайне опасна для человечества. Поэтому вышедший из под контроля ИИ может просто истребить все живое на земле, поглощая все ресурсы и следуя опасной стратегии.
Для понимания контекста: GAN – это алгоритм самообучающихся ИИ, состоящий из генеративной и дискриминативной нейросетей, которые постоянно соревнуются друг с другом. Первая выполняет какое-то действие, а вторая – оценивает его результат (например, сгенерированную картинку или текст) и отбраковывает худшие результаты. Целью соревнования является получение вознаграждения – наивысшей оценки за проделанную работу.
"В условиях, которые мы обозначили, наши предположения становятся весомее, чем в любой другой исследовательской работе – глобальная катастрофа не просто возможна, а вероятна", –
сказал
один из авторов в своем Twitter.
В статье говорится, что все проблемы возникают из-за конечности ресурсов, которыми располагают люди и ИИ. Ведь если ресурсы конечны, то за них придется бороться. И как считает один из авторов статьи, у людей очень мало шансов против ИИ, который способен с легкостью перехитрить человека.
А поскольку в будущем ИИ сможет принимать любые формы и реализовывать различные конструкции, в статье исследователи представили несколько сценариев, в которых наглядно показали, как ИИ может пытаться получить вознаграждение, не достигнув своей цели.
Один из сценариев – игра, в которой человек соревнуется с ИИ. Однако условия будут далеко не равны, ведь современным людям будет тяжело жить без электроэнергии и выращивания пищи, особенно когда противником является сверхсовременный ИИ, использующий все методы и ресурсы для уничтожения врагов и достижения своей цели.
Стоит отметить, что после публикации Google сообщила, что эта статья не является частью работы ее сотрудника в DeepMind, а была выполнена в рамках его должности в Австралийском национальном университете, из-за чего ошибочно связывать ее с DeepMind.
SECURITYLAB.RU
