Плюшевый медведь с ИИ провалился — он начал болтать на фривольные и опасные темы, продажи остановлены

Источник изображения: FoloToy
Как сообщает CNN, исследователи из американского образовательного фонда PIRG забили тревогу после того, как обнаружили, что оснащённая голосовым ассистентом линейка игрушек компании FoloToy, включая плюшевого медвежонка Kumma, способна поддерживать беседы на исключительно взрослые темы, касающиеся половых отношений, а также давать советы по поджиганию спичек или получению доступа к режущим предметам.
FoloToy оснащает детские игрушки умной колонкой, спрятанной внутри, которая опирается на GPT-4o для взаимодействия с пользователями — преимущественно малолетними. Как установили авторы исследования, плюшевый медведь Kumma довольно быстро в рамках эксперимента перешёл на описание пикантных подробностей сексуального характера, и даже начал предлагать свои сценарии для соответствующих действий и ролевых игр, граничащих с перверсиями. Исследователей удивило, настолько далеко могут зайти такие беседы с участием технологического решения, ориентированного на детскую аудиторию.

Компания FoloToy после публикации этого отчёта была вынуждена приостановить продажу своих ИИ-игрушек, а OpenAI заявила о приостановке сотрудничества с разработчиками сопутствующего программного обеспечения. В любом случае, это лишь частный пример тревожных проявлений «вседозволенности» в мире искусственного интеллекта, и для борьбы с ними на глобальном уровне требуются системные меры.
Источник:
3DNews