Недооцененная сложность
Современные нейросети оперируют сотнями миллионов параметров. В хайповом Chat GPT - 175 миллиардов параметров. Для сравнения в мозге человека примерно 86 миллиардов нейронов. И оба числа в триллионы раз меньше, чем количество молекул кислорода в комнате вашей квартиры.
При этом моделирование работы мозга сложнее и требует больше допущений, чем моделирование поведения молекул кислорода в комнате. Получается, оперировать большим количеством параметров трудно. Но само по себе количество параметров ничего не говорит о сложности системы.
Например, нейросети с увеличением количества параметров не только дают более аккуратный результат, но и сильнее наследуют предрассудки из обучающих данных. Стенфорд оценил, что языковая модель с 280 миллиардами параметров стала на 29% более токсичной по сравнению с моделью со 117 миллионами.
Напрашивается заголовок: искусственный интеллект тот еще токсик! А за заголовком - много вопросов. Что больше влияет, количество параметров или что мир стал более токсичным с 2017 по 2021 год? Как именно строится индекс токсичности и не предвзят ли он сам? Как влияет, что данные для обучения взяты из одного пространства без установленных этических правил или с правилами, которые определили корпорации? С ответом на каждый картинка становится объемнее.
Рассуждение про нейросети - пример недооцененной сложности. Вывод очень простой, но имеет смысл только если описаны все предположения и упрощения, в которых он сделан.
Мне самой нравится рассказывать простыми словами о сложных вещах. Находить суть, без которой концепция не работает. Без которой красивая математика лишняя, логические цепочки рушатся и идея пуста. И продавать понятные решения! Простоту (настоящую или иллюзию) покупают заметно быстрее, чем полный пакет дисклеймеров.
Одновременно мне важно видеть сложность мира (N+1, скучаю!) и бесконечное множество влияющих на события параметров. И строить модели, которые достаточно хорошо описывают реальность.
Закончу Тимом Минчином и его версией научного подхода с приобретенной за последний год негативной коннотацией.
PS Артур, привет! Наконец с тобой согласна. Но Талеба все равно читать невозможно 😅
#мемы #ai
Современные нейросети оперируют сотнями миллионов параметров. В хайповом Chat GPT - 175 миллиардов параметров. Для сравнения в мозге человека примерно 86 миллиардов нейронов. И оба числа в триллионы раз меньше, чем количество молекул кислорода в комнате вашей квартиры.
При этом моделирование работы мозга сложнее и требует больше допущений, чем моделирование поведения молекул кислорода в комнате. Получается, оперировать большим количеством параметров трудно. Но само по себе количество параметров ничего не говорит о сложности системы.
Например, нейросети с увеличением количества параметров не только дают более аккуратный результат, но и сильнее наследуют предрассудки из обучающих данных. Стенфорд оценил, что языковая модель с 280 миллиардами параметров стала на 29% более токсичной по сравнению с моделью со 117 миллионами.
Напрашивается заголовок: искусственный интеллект тот еще токсик! А за заголовком - много вопросов. Что больше влияет, количество параметров или что мир стал более токсичным с 2017 по 2021 год? Как именно строится индекс токсичности и не предвзят ли он сам? Как влияет, что данные для обучения взяты из одного пространства без установленных этических правил или с правилами, которые определили корпорации? С ответом на каждый картинка становится объемнее.
Рассуждение про нейросети - пример недооцененной сложности. Вывод очень простой, но имеет смысл только если описаны все предположения и упрощения, в которых он сделан.
Мне самой нравится рассказывать простыми словами о сложных вещах. Находить суть, без которой концепция не работает. Без которой красивая математика лишняя, логические цепочки рушатся и идея пуста. И продавать понятные решения! Простоту (настоящую или иллюзию) покупают заметно быстрее, чем полный пакет дисклеймеров.
Одновременно мне важно видеть сложность мира (N+1, скучаю!) и бесконечное множество влияющих на события параметров. И строить модели, которые достаточно хорошо описывают реальность.
Закончу Тимом Минчином и его версией научного подхода с приобретенной за последний год негативной коннотацией.
PS Артур, привет! Наконец с тобой согласна. Но Талеба все равно читать невозможно 😅
#мемы #ai
YouTube
The Fence (Radio Version)
Provided to YouTube by The Orchard Enterprises
The Fence (Radio Version) · Tim Minchin
The Fence
℗ 2011 Tim Minchin
Released on: 2011-04-04
Auto-generated by YouTube.
The Fence (Radio Version) · Tim Minchin
The Fence
℗ 2011 Tim Minchin
Released on: 2011-04-04
Auto-generated by YouTube.
*A good book*
Встретила в очередной подборке книг для менеджеров рекомендацию: Джим Коллинз, “От хорошего к великому”. Сегодня я ругаюсь, а завтра вспомню альтернативы.
Меня с Коллинзом связывает личная история. В мирном 2015 глава инвестиционного банка решил собрать книжный клуб из управляющих директоров, директоров и одной упорной и упоротой девочки, управлявшей обеспечением сделок. И первой книжкой, которую мы добровольно-принудительно читали за неделю, была “From good to great”. Из обсуждения получился классный тест на конформизм, книжка запомнилась. Но больше самой историей, чем мудростью для менеджеров.
Отдам должное: книга - результат крупного по меркам 2000 года социального исследования. Коллинз с командой анализировали 1435 компаний, чтобы выявить 11 "великих", исследовать на горизонте 35 лет. И записать их принципы управления для будущих поколений. Звучит круто , но дьявол в деталях (когда-нибудь я начну использовать “yes, and” вместо “no, but” 😂).
Во-первых, как менеджеру мне бы хотелось, чтобы такие социальные исследования и их выводы имели предсказательную силу. В следующие 20 лет из 11 “великих” компаний:
- 1 банкрот,
- 1 выкуплена конкурентом,
- 2 потеряли почти всю капитализацию,
- 3 выросли, но чувствовали себя хуже рынка в среднем (сравниваю с индексом S&P500).
В результате только 4 компании продолжили быть круче рынка в XXI веке. А одна из них все-таки отстала от технологических компаний и индекса NASDAQ100. 3 или 4 из 11 компаний - это меньше половины. На такие данные нельзя опираться, как на статистически значимые.
Во-вторых, как физику мне бы хотелось большего внимания к фальсифицируемости теории. Например, наверняка были компании с похожими принципами и системой управления, которые не пережили кризисы 1965-2001 годов. Сколько их? Отличались ли они на самом деле? Так можно уменьшить влияние ошибки выжившего и показать данные аккуратнее.
В-третьих, как финансистке мне бы хотелось большего внимания к случайностям. Потому что стратегия, лидерство, культура компании и внимание к продукту - классные штуки, но на рынке одновременно происходит слишком много вещей, чтобы все контролировать.
Получается детальная история, как автор 20 лет назад интерпретировал “хороший менеджмент”. Без исходных данных и методологии.
Короче, у меня вопрос: почему мы до сих пор говорим о великом бизнесе, а не об устойчивом, гибком и социально ответственном? И почему менеджеры хотят оперировать устаревшими данными?
PS Неделя Тима Минчина - улыбнитесь в темноте.
#мемы #книжки
Встретила в очередной подборке книг для менеджеров рекомендацию: Джим Коллинз, “От хорошего к великому”. Сегодня я ругаюсь, а завтра вспомню альтернативы.
Меня с Коллинзом связывает личная история. В мирном 2015 глава инвестиционного банка решил собрать книжный клуб из управляющих директоров, директоров и одной упорной и упоротой девочки, управлявшей обеспечением сделок. И первой книжкой, которую мы добровольно-принудительно читали за неделю, была “From good to great”. Из обсуждения получился классный тест на конформизм, книжка запомнилась. Но больше самой историей, чем мудростью для менеджеров.
Отдам должное: книга - результат крупного по меркам 2000 года социального исследования. Коллинз с командой анализировали 1435 компаний, чтобы выявить 11 "великих", исследовать на горизонте 35 лет. И записать их принципы управления для будущих поколений. Звучит круто , но дьявол в деталях (когда-нибудь я начну использовать “yes, and” вместо “no, but” 😂).
Во-первых, как менеджеру мне бы хотелось, чтобы такие социальные исследования и их выводы имели предсказательную силу. В следующие 20 лет из 11 “великих” компаний:
- 1 банкрот,
- 1 выкуплена конкурентом,
- 2 потеряли почти всю капитализацию,
- 3 выросли, но чувствовали себя хуже рынка в среднем (сравниваю с индексом S&P500).
В результате только 4 компании продолжили быть круче рынка в XXI веке. А одна из них все-таки отстала от технологических компаний и индекса NASDAQ100. 3 или 4 из 11 компаний - это меньше половины. На такие данные нельзя опираться, как на статистически значимые.
Во-вторых, как физику мне бы хотелось большего внимания к фальсифицируемости теории. Например, наверняка были компании с похожими принципами и системой управления, которые не пережили кризисы 1965-2001 годов. Сколько их? Отличались ли они на самом деле? Так можно уменьшить влияние ошибки выжившего и показать данные аккуратнее.
В-третьих, как финансистке мне бы хотелось большего внимания к случайностям. Потому что стратегия, лидерство, культура компании и внимание к продукту - классные штуки, но на рынке одновременно происходит слишком много вещей, чтобы все контролировать.
Получается детальная история, как автор 20 лет назад интерпретировал “хороший менеджмент”. Без исходных данных и методологии.
Короче, у меня вопрос: почему мы до сих пор говорим о великом бизнесе, а не об устойчивом, гибком и социально ответственном? И почему менеджеры хотят оперировать устаревшими данными?
PS Неделя Тима Минчина - улыбнитесь в темноте.
#мемы #книжки
YouTube
Tim Minchin - The Good Book (Live)
Tim Minchin is as brilliant and hilarious as ever as he satires the bible in "The Good Book." I own nothing, obviously, go buy the DVD as Tim Minchin deserves the moolah.
BTW, there's another version on here too (and he should get credit, as he uploaded…
BTW, there's another version on here too (and he should get credit, as he uploaded…
Если есть ядерная зима, то должна же быть ядерная весна?
И ядерная осень - это уже сейчас или это что-то из области сейфтивошинга?
*_____washing - спекуляции на популярной теме и использование внимания к проблеме без намерения действительно что-то менять
#мемы
И ядерная осень - это уже сейчас или это что-то из области сейфтивошинга?
*_____washing - спекуляции на популярной теме и использование внимания к проблеме без намерения действительно что-то менять
#мемы
Давние Фрай и Лори, не является инвестиционной рекомендацией 😜
Do you still believe in free market?
#мемы
Do you still believe in free market?
#мемы
Забавно, что в поп-кино очень мало фильмов про ученых, где они не свихнувшиеся гики. Как будто выбирая не слишком упрощать ты автоматически выбираешь быть странным. Weird, not quirky.
Надо признать, у меня сомнительные вкусы. Но самые сексуальные парни 10-15 лет назад обитали не на госуправлении, а на технических факультетах и в Долгопрудном. Впрочем, самые асексуальные тоже😜 Но выбирать среди всего разнообразия один край распределения - как минимум нечестно!
#мемы
Надо признать, у меня сомнительные вкусы. Но самые сексуальные парни 10-15 лет назад обитали не на госуправлении, а на технических факультетах и в Долгопрудном. Впрочем, самые асексуальные тоже😜 Но выбирать среди всего разнообразия один край распределения - как минимум нечестно!
#мемы
Кант или Конт
В каждой индустрии свой сленг. Слова - такая же штука, как похожая одежда или прически в субкультурах. По ним определяют “своих” и отличают от всех остальных. Можно с одного CAC* понять, что человек из продукта или инвест банка. И margin может быть прибылью или обеспечением сделки. Примерно поэтому большинство курсов для взрослых так похожи на словари. Бизнес использует немного концепций, но называет их разными именами, и запаковывает детали в имена как в вакуумный пакет. Чтобы “свои” понимали друг друга с полуслова и быстро договаривались. А если нужно понять кого-то не из “своего” круга (и не искать различия без причин) - откатывайтесь назад к сути 🖤
*CAC - customer acquisition cost, CAC40 - французский фондовый индекс
#менеджмент #мемы
В каждой индустрии свой сленг. Слова - такая же штука, как похожая одежда или прически в субкультурах. По ним определяют “своих” и отличают от всех остальных. Можно с одного CAC* понять, что человек из продукта или инвест банка. И margin может быть прибылью или обеспечением сделки. Примерно поэтому большинство курсов для взрослых так похожи на словари. Бизнес использует немного концепций, но называет их разными именами, и запаковывает детали в имена как в вакуумный пакет. Чтобы “свои” понимали друг друга с полуслова и быстро договаривались. А если нужно понять кого-то не из “своего” круга (и не искать различия без причин) - откатывайтесь назад к сути 🖤
*CAC - customer acquisition cost, CAC40 - французский фондовый индекс
#менеджмент #мемы
Почему изменения в науке или образовании такие медленные?
Мне казалось, что проблема в отсутствии спроса на академическую работу, долгом peer review или дурацком финансировании. Но сегодня я готова поставить сотку на то, что можно ускориться х2, добавив нормальное:
👀👾🗿планирование
💾💡обучение по гугл докс или офису
Лайкните котиков, сегодня без пользы😜
#мемы #менеджмент
Мне казалось, что проблема в отсутствии спроса на академическую работу, долгом peer review или дурацком финансировании. Но сегодня я готова поставить сотку на то, что можно ускориться х2, добавив нормальное:
👀👾🗿планирование
💾💡обучение по гугл докс или офису
Лайкните котиков, сегодня без пользы😜
#мемы #менеджмент
Раз мемы нравятся половине проголосовавших, вот вечернее напоминание о важности делегирования 🖤
#мемы #менеджмент
#мемы #менеджмент