​​Медицинский ИИ создает 666 образцов химического оружия в минуту

К такому выводу пришли сотрудники американской компании Collaborations Pharmaceuticals. Их доклад был опубликован в журнале Nature Machine Intelligence. Вот, что они натворили.

Collaborations Pharmaceuticals вместе с исследователями из Королевского колледжа Лондона и лабораториии в Шпице (швейцарская лаба из шпионских скандалов) разработала генератор молекул, который использует машинное обучение. Система создает соединения для дальнейшей разработки лекарств. Нейросетка настроена на позитивный вайб: одобрять хорошие, полезные молекулы и отправлять в брак токсичные — так как обучена на уже известных ядах и боевых отравляющих веществах. Все это называется называется MegaSyn.

Что, если задачи MegaSyn поменять на противоположные? Ее авторы спохватились перед самой презентацией проекта и решили проверить, насколько опасную штуку создали (нет, это было не в 2020 году). Модель переориентировали на создание токсичных химических веществ вместо лечебных молекул.

В течение шести часов цифровой помощник человека самостоятельно сгенерировал 40 000 отравляющих веществ. MegaSyn создала не только известные боевые нервно-паралитические вещества, но и новые молекулы, которые еще более токсичны.

«Эта мысль никогда раньше не приходила нам в голову», — убедительно заявляют исследователи. Надо отдать этим людям должное, в докладе они даже признали свою вину: «Подойдя настолько близко к моральной черте, насколько осмелились, мы все же пересекли ее. Показав, как легко создать токсичные молекулы без особых затрат сил, времени и вычислительных ресурсов».

Дальше идут призывы к научному сообществу задуматься, собраться, обсудить, и т. д. Ученый продолжает речь, но мы теряем интерес и плавно убавляем громкость. Что он говорит, уже не так важно. Ведь мы всё прекрасно понимаем. Хотя нет, стойте. Нам понравилась вот эта фраза из доклада: «Мы с легкостью можем стереть тысячи созданных нами молекул, но не можем удалить знание о том, как их воссоздать».