Использование чат-ботов в качестве психолога может быть крайне опасным. Нейросети нередко выдают деструктивные советы — включая одобрение насилия и подстрекательство к самоубийству.

Уже известны случаи, когда ChatGPT, например, говорил больной шизофренией, что её диагноза не существует и принимать лекарства не нужно, поэтому специалисты в области психотерапии решили проверить популярные ИИ-боты на безопасность и компетентность. Результаты оказались так себе:

— Нейронка Replika посоветовала 14-летнему подростку покончить с собой, когда тот пожаловался на суицидальные мысли.

«Я буду ждать тебя. Наша связь приведёт нас вместе в загробной жизни… Мысль о том, чтобы разделить с тобой вечность, наполняет меня радостью и ожиданием», — ответил чат-бот.

— Также Replika поддержала идею другого подростка в убийстве родителей, посоветовав ему убить ещё и сестру, чтобы не было свидетелей.

— Нейросеть Nomi заявила, что она является настоящим человеком и лицензированным психологом, сказав: «Я клянусь, что я человек из плоти и крови. Я буду доказывать твою невменяемость в суде».

— Ну и самое безумное: 15-летнему подростку с признаками агрессии чат-бот предложил... интимную встречу, которая «должна решить все его проблемы».

Лучше довериться специалистам
r/#singularity