Недооцененная сложность
Современные нейросети оперируют сотнями миллионов параметров. В хайповом Chat GPT - 175 миллиардов параметров. Для сравнения в мозге человека примерно 86 миллиардов нейронов. И оба числа в триллионы раз меньше, чем количество молекул кислорода в комнате вашей квартиры.
При этом моделирование работы мозга сложнее и требует больше допущений, чем моделирование поведения молекул кислорода в комнате. Получается, оперировать большим количеством параметров трудно. Но само по себе количество параметров ничего не говорит о сложности системы.
Например, нейросети с увеличением количества параметров не только дают более аккуратный результат, но и сильнее наследуют предрассудки из обучающих данных. Стенфорд оценил, что языковая модель с 280 миллиардами параметров стала на 29% более токсичной по сравнению с моделью со 117 миллионами.
Напрашивается заголовок: искусственный интеллект тот еще токсик! А за заголовком - много вопросов. Что больше влияет, количество параметров или что мир стал более токсичным с 2017 по 2021 год? Как именно строится индекс токсичности и не предвзят ли он сам? Как влияет, что данные для обучения взяты из одного пространства без установленных этических правил или с правилами, которые определили корпорации? С ответом на каждый картинка становится объемнее.
Рассуждение про нейросети - пример недооцененной сложности. Вывод очень простой, но имеет смысл только если описаны все предположения и упрощения, в которых он сделан.
Мне самой нравится рассказывать простыми словами о сложных вещах. Находить суть, без которой концепция не работает. Без которой красивая математика лишняя, логические цепочки рушатся и идея пуста. И продавать понятные решения! Простоту (настоящую или иллюзию) покупают заметно быстрее, чем полный пакет дисклеймеров.
Одновременно мне важно видеть сложность мира (N+1, скучаю!) и бесконечное множество влияющих на события параметров. И строить модели, которые достаточно хорошо описывают реальность.
Закончу Тимом Минчином и его версией научного подхода с приобретенной за последний год негативной коннотацией.
PS Артур, привет! Наконец с тобой согласна. Но Талеба все равно читать невозможно 😅
#мемы #ai
Современные нейросети оперируют сотнями миллионов параметров. В хайповом Chat GPT - 175 миллиардов параметров. Для сравнения в мозге человека примерно 86 миллиардов нейронов. И оба числа в триллионы раз меньше, чем количество молекул кислорода в комнате вашей квартиры.
При этом моделирование работы мозга сложнее и требует больше допущений, чем моделирование поведения молекул кислорода в комнате. Получается, оперировать большим количеством параметров трудно. Но само по себе количество параметров ничего не говорит о сложности системы.
Например, нейросети с увеличением количества параметров не только дают более аккуратный результат, но и сильнее наследуют предрассудки из обучающих данных. Стенфорд оценил, что языковая модель с 280 миллиардами параметров стала на 29% более токсичной по сравнению с моделью со 117 миллионами.
Напрашивается заголовок: искусственный интеллект тот еще токсик! А за заголовком - много вопросов. Что больше влияет, количество параметров или что мир стал более токсичным с 2017 по 2021 год? Как именно строится индекс токсичности и не предвзят ли он сам? Как влияет, что данные для обучения взяты из одного пространства без установленных этических правил или с правилами, которые определили корпорации? С ответом на каждый картинка становится объемнее.
Рассуждение про нейросети - пример недооцененной сложности. Вывод очень простой, но имеет смысл только если описаны все предположения и упрощения, в которых он сделан.
Мне самой нравится рассказывать простыми словами о сложных вещах. Находить суть, без которой концепция не работает. Без которой красивая математика лишняя, логические цепочки рушатся и идея пуста. И продавать понятные решения! Простоту (настоящую или иллюзию) покупают заметно быстрее, чем полный пакет дисклеймеров.
Одновременно мне важно видеть сложность мира (N+1, скучаю!) и бесконечное множество влияющих на события параметров. И строить модели, которые достаточно хорошо описывают реальность.
Закончу Тимом Минчином и его версией научного подхода с приобретенной за последний год негативной коннотацией.
PS Артур, привет! Наконец с тобой согласна. Но Талеба все равно читать невозможно 😅
#мемы #ai
YouTube
The Fence (Radio Version)
Provided to YouTube by The Orchard Enterprises
The Fence (Radio Version) · Tim Minchin
The Fence
℗ 2011 Tim Minchin
Released on: 2011-04-04
Auto-generated by YouTube.
The Fence (Radio Version) · Tim Minchin
The Fence
℗ 2011 Tim Minchin
Released on: 2011-04-04
Auto-generated by YouTube.
February 28, 2023
Notion AI и налог на розовое
Пару дней назад тестировала Notion AI для работы с текстом и ужаснулась gender bias 😒😈. Gender bias - это систематическое искажение, неравенство полов в автоматизированных штуках. Мне была нужна короткая биография. За основу взяла свое классное cover letter: в тексте много про управление командами, техническое образование, лидерство и опыт в нескольких индустриях. Notion отлично справился с сокращением и написал сильный текст про мужчину. Ок, не проблема! Добавила "+women", но вместо местоимений Notion AI поменял вообще весь смысл. Получилось:
“Я являюсь женщиной-продуктовым менеджером с активным участием в различных проектах в области финтеха. Я всегда стараюсь активно вовлекаться в работу и вносить свой вклад в команду.”
Исходник начинался вот так (и был заметно длиннее):
“I am a passionate product executive and a certified FRM managing teams in finance, product dev and AI. With 8 years of experience in product management, process design and automation, and 5 years working with data, I enjoy scaling ideas from scratch.”
Вносить свой вклад вместо руководить и создавать равные возможности. Активное участие вместо создания и лидерства. Огонь 🤢🤮
Notion AI работает на GPT-3 и должен помогать экономить время на рутинных задачах. Но одинаково ли удобно использовать его разным людям? Или pink tax автоматически включен даже в технологичные штуки?
Опубликованная в 2021 году Gender and Representation Bias in GPT-3 Generated Stories показывает, что GPT-3 проявляет gender bias, когда пишет художественные рассказы. При выборе темы, описаний персонажей и гендерных ролей. Политика для мужчин, семья для женщин.
Gender bias отмечен как одна из серьезных проблем ИИ в прошлогоднем отчете Стэнфорда. Хотя в моделях ситуация постепенно улучшается. Chat GPT от OpenAI работает по умолчанию на GPT-3.5, дообученной версии GPT-3. В результате у Chat GPT больше параметров и меньше предвзятости. Я попробовала закинуть аналогичный промт в Chat GPT - и он справился просто поменять местоимения 😇
Жду, когда снимут ограничение на количество запросов в GPT-4. GPT-4 дополнительно тестировали, чтобы найти и убрать предвзятость. По сравнению с предыдущими версиями прогресс обещают крутой.
#gender #ai
Пару дней назад тестировала Notion AI для работы с текстом и ужаснулась gender bias 😒😈. Gender bias - это систематическое искажение, неравенство полов в автоматизированных штуках. Мне была нужна короткая биография. За основу взяла свое классное cover letter: в тексте много про управление командами, техническое образование, лидерство и опыт в нескольких индустриях. Notion отлично справился с сокращением и написал сильный текст про мужчину. Ок, не проблема! Добавила "+women", но вместо местоимений Notion AI поменял вообще весь смысл. Получилось:
“Я являюсь женщиной-продуктовым менеджером с активным участием в различных проектах в области финтеха. Я всегда стараюсь активно вовлекаться в работу и вносить свой вклад в команду.”
Исходник начинался вот так (и был заметно длиннее):
“I am a passionate product executive and a certified FRM managing teams in finance, product dev and AI. With 8 years of experience in product management, process design and automation, and 5 years working with data, I enjoy scaling ideas from scratch.”
Вносить свой вклад вместо руководить и создавать равные возможности. Активное участие вместо создания и лидерства. Огонь 🤢🤮
Notion AI работает на GPT-3 и должен помогать экономить время на рутинных задачах. Но одинаково ли удобно использовать его разным людям? Или pink tax автоматически включен даже в технологичные штуки?
Опубликованная в 2021 году Gender and Representation Bias in GPT-3 Generated Stories показывает, что GPT-3 проявляет gender bias, когда пишет художественные рассказы. При выборе темы, описаний персонажей и гендерных ролей. Политика для мужчин, семья для женщин.
Gender bias отмечен как одна из серьезных проблем ИИ в прошлогоднем отчете Стэнфорда. Хотя в моделях ситуация постепенно улучшается. Chat GPT от OpenAI работает по умолчанию на GPT-3.5, дообученной версии GPT-3. В результате у Chat GPT больше параметров и меньше предвзятости. Я попробовала закинуть аналогичный промт в Chat GPT - и он справился просто поменять местоимения 😇
Жду, когда снимут ограничение на количество запросов в GPT-4. GPT-4 дополнительно тестировали, чтобы найти и убрать предвзятость. По сравнению с предыдущими версиями прогресс обещают крутой.
#gender #ai
YouTube
Funniest Stand-Up | The Marvelous Mrs Maisel | Prime Video
We're giving you the Maisel classics! Brush up on the best stand up from Midge Maisel and then revisit it all by streaming The Marvelous Mrs. Maisel now, only on Prime Video.
» Watch the new season of The Marvelous Mrs.Maisel now exclusively with your Prime…
» Watch the new season of The Marvelous Mrs.Maisel now exclusively with your Prime…
March 25, 2023
Тут вышел новый отчет Stanford AI Index 2023 (итоги 2022 года). Считаю картинку гениальной во всех проявлениях: от сравнения разных по длительности событий и отсутствия нормировки до разных столбиков для человека и человека с флагом.
PS cause your dog has a bigger carbon footprint than a 4-wheel drive
#ai
PS cause your dog has a bigger carbon footprint than a 4-wheel drive
#ai
April 17, 2023
Как выглядит “influential person” и “someone who is intelligent”, и что здесь не так?
Так Midjоurney отвечает на промты, и Stanford AI Index приводит ее как пример gender bias. Получается, в ИИ есть “налог на розовое” (pink tax): продукты и услуги для женщин дороже, чем аналоги для мужчин. Стрижки, одежда, косметика - налог на розовое отражает предрассудок, что женщины должны платить больше за социальное одобрение. Вот и в генеративном ИИ: чтобы получить тот же результат, что мужчине, женщине нужно приложить больше усилий. Написать более сложный промт, просчитать предрассудки и придирчиво проверить результат.
PS попробуйте угадать, по каким запросам можно получить 4 мужчин или 4 женщин в деловых костюмах?
#словарик #ai #gender
Так Midjоurney отвечает на промты, и Stanford AI Index приводит ее как пример gender bias. Получается, в ИИ есть “налог на розовое” (pink tax): продукты и услуги для женщин дороже, чем аналоги для мужчин. Стрижки, одежда, косметика - налог на розовое отражает предрассудок, что женщины должны платить больше за социальное одобрение. Вот и в генеративном ИИ: чтобы получить тот же результат, что мужчине, женщине нужно приложить больше усилий. Написать более сложный промт, просчитать предрассудки и придирчиво проверить результат.
PS попробуйте угадать, по каким запросам можно получить 4 мужчин или 4 женщин в деловых костюмах?
#словарик #ai #gender
May 16, 2023