Недооцененная сложность

Современные нейросети оперируют сотнями миллионов параметров. В хайповом Chat GPT - 175 миллиардов параметров. Для сравнения в мозге человека примерно 86 миллиардов нейронов. И оба числа в триллионы раз меньше, чем количество молекул кислорода в комнате вашей квартиры.

При этом моделирование работы мозга сложнее и требует больше допущений, чем моделирование поведения молекул кислорода в комнате. Получается, оперировать большим количеством параметров трудно. Но само по себе количество параметров ничего не говорит о сложности системы.

Например, нейросети с увеличением количества параметров не только дают более аккуратный результат, но и сильнее наследуют предрассудки из обучающих данных. Стенфорд оценил, что языковая модель с 280 миллиардами параметров стала на 29% более токсичной по сравнению с моделью со 117 миллионами.

Напрашивается заголовок: искусственный интеллект тот еще токсик! А за заголовком - много вопросов. Что больше влияет, количество параметров или что мир стал более токсичным с 2017 по 2021 год? Как именно строится индекс токсичности и не предвзят ли он сам? Как влияет, что данные для обучения взяты из одного пространства без установленных этических правил или с правилами, которые определили корпорации? С ответом на каждый картинка становится объемнее.

Рассуждение про нейросети - пример недооцененной сложности. Вывод очень простой, но имеет смысл только если описаны все предположения и упрощения, в которых он сделан.

Мне самой нравится рассказывать простыми словами о сложных вещах. Находить суть, без которой концепция не работает. Без которой красивая математика лишняя, логические цепочки рушатся и идея пуста. И продавать понятные решения! Простоту (настоящую или иллюзию) покупают заметно быстрее, чем полный пакет дисклеймеров.

Одновременно мне важно видеть сложность мира (N+1, скучаю!) и бесконечное множество влияющих на события параметров. И строить модели, которые достаточно хорошо описывают реальность.

Закончу Тимом Минчином и его версией научного подхода с приобретенной за последний год негативной коннотацией.

PS Артур, привет! Наконец с тобой согласна. Но Талеба все равно читать невозможно 😅

#мемы #ai

*A good book*

Встретила в очередной подборке книг для менеджеров рекомендацию: Джим Коллинз, “От хорошего к великому”. Сегодня я ругаюсь, а завтра вспомню альтернативы.

Меня с Коллинзом связывает личная история. В мирном 2015 глава инвестиционного банка решил собрать книжный клуб из управляющих директоров, директоров и одной упорной и упоротой девочки, управлявшей обеспечением сделок. И первой книжкой, которую мы добровольно-принудительно читали за неделю, была “From good to great”. Из обсуждения получился классный тест на конформизм, книжка запомнилась. Но больше самой историей, чем мудростью для менеджеров.

Отдам должное: книга - результат крупного по меркам 2000 года социального исследования. Коллинз с командой анализировали 1435 компаний, чтобы выявить 11 "великих", исследовать на горизонте 35 лет. И записать их принципы управления для будущих поколений. Звучит круто , но дьявол в деталях (когда-нибудь я начну использовать “yes, and” вместо “no, but” 😂).

Во-первых, как менеджеру мне бы хотелось, чтобы такие социальные исследования и их выводы имели предсказательную силу. В следующие 20 лет из 11 “великих” компаний:

- 1 банкрот,
- 1 выкуплена конкурентом,
- 2 потеряли почти всю капитализацию,
- 3 выросли, но чувствовали себя хуже рынка в среднем (сравниваю с индексом S&P500).

В результате только 4 компании продолжили быть круче рынка в XXI веке. А одна из них все-таки отстала от технологических компаний и индекса NASDAQ100. 3 или 4 из 11 компаний - это меньше половины. На такие данные нельзя опираться, как на статистически значимые.

Во-вторых, как физику мне бы хотелось большего внимания к фальсифицируемости теории. Например, наверняка были компании с похожими принципами и системой управления, которые не пережили кризисы 1965-2001 годов. Сколько их? Отличались ли они на самом деле? Так можно уменьшить влияние ошибки выжившего и показать данные аккуратнее.

В-третьих, как финансистке мне бы хотелось большего внимания к случайностям. Потому что стратегия, лидерство, культура компании и внимание к продукту - классные штуки, но на рынке одновременно происходит слишком много вещей, чтобы все контролировать.

Получается детальная история, как автор 20 лет назад интерпретировал “хороший менеджмент”. Без исходных данных и методологии.

Короче, у меня вопрос: почему мы до сих пор говорим о великом бизнесе, а не об устойчивом, гибком и социально ответственном? И почему менеджеры хотят оперировать устаревшими данными?

PS Неделя Тима Минчина - улыбнитесь в темноте.

#мемы #книжки

Классные книжки и конформизм
псссс, слушайте текст!

За зиму в Стамбуле я напрочь разучилась застегивать пуховик, прилично переходить дорогу и сидеть в кофейнях внутри. Борюсь с собой, чтобы не замерзнуть насмерть или не попасть в радостные объятия полицейского в Гамбурге. Серьезно, поймала себя на желании перейти 6-полосный проспект на красный.

Вообще скорость привыкания к новым правилам - полезная индивидуальная штука и косвенная мера адаптивности. И помогает с ощущением чужих границ в команде. И мешает нон-конформизму.

Следование правилам помогает строить безопасное законопослушное общество. И мешает бороться с теми, кто правилам не следует и ведет себя как токсично-маскулинный гопник с карманной армией. И дает возможность тем, кто рискует и играет не по правилам, выигрывать и тормозить всех остальных.

Представьте, что вы играете в игру, в которой можно условно “помочь” противнику или “подставить” на каждом ходу. Вы делаете первый ход, потом противник отвечает, тоже выбирая “помочь” или “подставить”. И так далее. Вы не можете разговаривать друг с другом или получать дополнительную информацию, кроме результата. Обычно все начинают с “помощи”. А дальше могут использовать разные стратегии.

Так вот, оптимальная стратегия зависит одновременно от того, сколько ходов в игре и знаете ли вы заранее количество ходов. От того, с ошибками или без ошибок передается между вами сигнал. А еще дальше - от того, сколько игроков играет.

Что лучше работает долгосрочно? Зависит от контекста. И почти не зависит от размера команды: можно моделировать менеджмент стартапа, парламент, стаю обезьян, научный дискурс.

Одним из итогов жутковатого правления Аугусто Пиночета до 2020 года оставалась приличная чилийская экономика (все еще одна из самых стабильных в регионе, но уже с нюансами). А в Аргентине, унаследовавшей значительно более левую идеологию в то же время держится 50% инфляция и бизнес в сером секторе. Это радикальный пример: так себе авторитаризм против так себе социализма.

Что это значит? Учитывать контекст - круто и дает больше вариантов, объема и возможности быть конформистом с несколькими стратегиями. Или нон-конформистом, если вам больше нравится. Помогает видеть чужие границы и признавать разные мнения.

Поэтому мне не нравятся подборки книжек для менеджеров: авторы отбирают примеры, подтверждающие их теории. И нравятся книжки про жизнь, про разных людей и для разных для людей:

1️⃣ ”Принцип черного ящика” про работу с ошибками.
2️⃣ “Гарри Поттер и методы рационального мышления” про научный метод и работу со смыслом.
3️⃣ “Политика у шимпанзе: власть и секс у приматов” про социальные взаимодействия в группе (можно еще “Непослушное дитя биосферы”, если хочется весело, коротко и проще).

#менеджмент #книжки