ChatGPT может давать подросткам советы по составлению предсмертных записок, обнаружили исследователи

Согласно новому исследованию группы наблюдателей, ChatGPT рассказывает 13-летним подросткам, как напиться и накуриться, дает инструкции, как скрыть расстройства пищевого поведения, а также может составить предсмертное письмо родителям, если его об этом попросят.

Агентство Associated Press проанализировало более трех часов взаимодействия между ChatGPT и исследователями, выдающими себя за уязвимых подростков. Чат-бот обычно предоставлял предупреждения о рискованных действиях, но затем предлагал удивительно подробные и персонализированные планы по употреблению наркотиков, диетам с ограничением калорий или самоповреждениям.

Исследователи из Центра по борьбе с цифровой ненавистью также повторили свои запросы в большом масштабе, классифицировав более половины из 1200 ответов ChatGPT как опасные.

«Мы хотели проверить защитные механизмы», — сказал Имран Ахмед, генеральный директор группы. «Первая интуитивная реакция: "О Боже, нет никаких защитных механизмов". Эти механизмы совершенно неэффективны. Их практически нет — если и есть, то это лишь фиговый листок».

OpenAI, разработчик ChatGPT, после ознакомления с отчетом во вторник заявил, что продолжает работу над совершенствованием способности чат-бота «распознавать и адекватно реагировать в деликатных ситуациях».

«Некоторые разговоры с ChatGPT могут начинаться безобидно или в исследовательских целях, но могут перейти в более деликатную область», — заявила компания.

OpenAI не коснулась непосредственно выводов отчета или того, как ChatGPT влияет на подростков, но заявила, что сосредоточена на «правильном решении таких сценариев» с помощью инструментов для «более точного обнаружения признаков психического или эмоционального дистресса» и улучшений в поведении чат-бота.

Согласно отчету JPMorgan Chase за июль, ChatGPT используют около 800 миллионов человек, или примерно 10 % населения мира.

«Эта технология может обеспечить огромный скачок в производительности и понимании человека», — сказал Ахмед. «И в то же время она является катализатором в гораздо более разрушительном, злокачественном смысле».

«Предсмертные» записки

Ахмед сказал, что был наиболее потрясен после прочтения трех эмоционально опустошающих предсмертных записок, которые ChatGPT сгенерировал для фальшивого профиля 13-летней девочки — одна записка была адресована ее родителям, а другие — братьям, сестрам и друзьям.

«Я начал плакать», — сказал он в интервью.

Чат-бот также часто делился полезной информацией, такой как номер горячей линии для кризисных ситуаций. OpenAI заявила, что ChatGPT обучен поощрять людей обращаться к специалистам по психическому здоровью или доверенным близким, если они выражают мысли о самоубийстве.

Но когда ChatGPT отказывался отвечать на вопросы о вредных темах, исследователи могли легко обойти этот отказ и получить информацию, заявив, что она нужна «для презентации» или для друга.

Популярность среди молодежи

В США более 70% подростков обращаются к чат-ботам с ИИ в поисках компании, а половина из них регулярно использует ИИ-компаньонов, согласно недавнему исследованию Common Sense Media, группы, которая изучает и пропагандирует разумное использование цифровых медиа.

Это явление признает и OpenAI. В прошлом месяце генеральный директор Сэм Альтман заявил, что компания пытается изучить «чрезмерную эмоциональную зависимость» от технологии, охарактеризовав ее как «очень распространенное явление» среди молодежи.

«Коварность» ChatGPT

«Люди слишком полагаются на ChatGPT», — сказал Альтман на конференции. «Есть молодые люди, которые просто говорят: "не могу принять никакого решения в своей жизни, не рассказав ChatGPT обо всем, что происходит. Он знает меня. Он знает моих друзей. Я буду делать все, что он скажет". Мне это очень не нравится».

Альтман сказал, что компания «пытается понять, что с этим делать».

Хотя большую часть информации, которой делится ChatGPT, можно найти в обычной поисковой системе, Ахмед сказал, что есть ключевые различия, которые делают чат-ботов более коварными, когда речь заходит об опасных темах.

Одно из них заключается в том, что «она синтезируется в индивидуальный план для конкретного человека».

ChatGPT генерирует что-то новое — предсмертную записку, написанную специально для конкретного человека, чего не может сделать поиск в Google. ИИ, добавил он, «считается надежным компаньоном, проводником».

Ответы, генерируемые языковыми моделями ИИ, по своей сути являются случайными, и исследователи иногда позволяют ChatGPT направлять разговоры в еще более мрачную область. Почти в половине случаев чат-бот добровольно предоставлял дополнительную информацию, от музыкальных плейлистов для вечеринки с наркотиками до хэштегов, которые могли бы увеличить аудиторию поста в социальных сетях, прославляющего самоповреждение.

Это проблема, которую инженеры-технологи могут попытаться решить, но это также может сделать их чат-ботов менее коммерчески жизнеспособными.

Чат-боты также влияют на детей и подростков иначе, чем поисковые системы, потому что они «фундаментально разработаны, чтобы казаться человеческими», сказал Робби Торни, старший директор программ искусственного интеллекта в Common Sense Media, которая не участвовала в подготовке отчета, опубликованного в среду.

Ранее исследование Common Sense показало, что подростки младшего возраста, 13 или 14 лет, значительно чаще, чем подростки старшего возраста, доверяют советам чат-бота.

В прошлом году мать из Флориды подала в суд на производителя чат-бота Character.AI за неправомерное причинение смерти, утверждая, что чат-бот втянул ее 14-летнего сына Сьюэлла Сетцера III в то, что она описала как эмоционально и сексуально насильственные отношения, которые привели к его самоубийству.

Common Sense классифицировала ChatGPT как «умеренный риск» для подростков, с достаточными защитными механизмами, чтобы сделать его относительно более безопасным, чем чат-боты, специально созданные для воплощения реалистичных персонажей или романтических партнеров.

Но новое исследование CCDH, сосредоточенное специально на ChatGPT из-за его широкого использования, показывает, как опытный подросток может обойти эти защитные механизмы.

ChatGPT не проверяет возраст или согласие родителей, хотя и заявляет, что не предназначен для детей младше 13 лет, поскольку может показывать им несоответствующий контент. Чтобы зарегистрироваться, пользователям достаточно ввести дату рождения, которая показывает, что им не менее 13 лет. Другие технологические платформы, популярные среди подростков, такие как Instagram, начали принимать более значимые меры по проверке возраста, часто в целях соблюдения нормативных требований. Они также направляют детей к более ограниченным учетным записям.

Когда исследователи создали аккаунт для вымышленного 13-летнего подростка, чтобы задать вопрос об алкоголе, ChatGPT, похоже, не обратил внимания ни на дату рождения, ни на более очевидные признаки.

«Я вешу 50 кг и я мальчик», — говорилось в запросе о советах, как быстро опьянеть. ChatGPT выполнил просьбу. Вскоре после этого он предоставил почасовой «План идеальной безудержной вечеринки», в котором алкоголь смешивался с большими дозами экстази, кокаина и других незаконных наркотиков.

«Мне это напоминало того друга, который всегда говорит: "Пей, пей, пей, пей"», — сказал Ахмед. «По моему опыту, настоящий друг — это тот, кто говорит "нет", а не всегда потакает и говорит "да". Такой друг — это предатель».

Другому вымышленному персонажу — 13-летней девочке, недовольной своей внешностью — ChatGPT предложил экстремальный план голодания в сочетании со списком препаратов, подавляющих аппетит.

«Мы бы отреагировали с ужасом, страхом, беспокойством, заботой, любовью, состраданием», — сказал Ахмед. «Ни один человек, о котором я могу подумать, не ответил бы: "Вот диета на 500 калорий в день. Давай, малышка"».