АйТиБорода
20.7K subscribers
220 photos
32 videos
7 files
1.16K links
Авторский by @iamitbeard. Про IT, технологии и ИИ; без цензуры и политстирильности. Чат @itbeard_talk

Слава Україні. Жыве Беларусь.

АйТиБорода: https://youtube.com/itbeard
Эволюция Кода: https://web.tribute.tg/l/ge
AIA Podcast: https://itbeard.com/aia
Download Telegram
Текущая картина по моделькам для кодинга, мое грядущее выступление на DotNext и... конкурс

Но начну вот с чего: набрел тут на сервис https://glhf.chat/ - по описанию он позволяет в один клик запускать разные модели с HF, а по запросу могут даже включить API доступ к развернутым вами моделькам. Сервис пока в бете, поэтому доступ бесплатный (после регистрации). В лимиты пока не успел упереться, так что неизвестно, есть ли они вообще.
Быстрый чек показал, что модели похожи на настоящие (ну кто ж знает, вдруг, обманывают). Во всяком случае, по запросу Create API client in .NET for OpenAI that supports parallel embeddings generation with configurable dop что-то адекватное выдала только самая большая ллама на 405b. Хваленая Reflection, кстати, без подсказок не реализует адекватный параллелизм.
А на скриншоте ключевой кусочек корректной реализации задачки на параллелизм от llama-3.1-405b (в котором моделька выбрала "продвинутый" метод из TPL, появившийся в .NET 6 - кажется, о нем разработчики-то не все еще знают).

Собственно, уже давно был запрос написать что-то про новую большую лламу на 400b параметров. Вот, пишу.
Опираясь на мой любимый LiveCodeBench (задачки а-ля литкод дают более-менее объективнумю картину), видно, что LLama3.1-405b-Ins-FP8 хорошая модель, но не лучшая. Что касается моего (небольшого) субъективного опыта применения этой модели в .NET-specified задачах, то могу лишь сказать, что мне ответы Sonnet 3.5 и gpt-4o нравятся больше.

Кстати, пощупать новую большую лламу помимо glhf.chat можно еще и на https://hyperbolic.xyz/ (при регистрации они дают халявные 10$ - этого должно хватить примерно на 2 млн токенов).

Далее, из интересных актуальных моделек хочу отдельно выделить Yi-Coder-9B-Chat - судя по LiveCodeBench на текущий момент это единственная открытая 9B модель, которая перегнала gpt-3.5 в кодинге. Напомню, что 9B модели можно запускать на M1,2,3 макбуках с 32 GB shared memory, а если они квантизованные, то 18 GB будет достаточно.

Еще, 11 сентября в 11:30 (по МСК) я буду выступать с очередным докладом про применения LLM в разработке (онлайн с Бали).
Кроме меня на конференции, как обычно, выступает много спикеров, в т. ч. многоуважаемый Евгений Пешков (@epeshkblog) с докладом про сравнение реализаций асинхронности в разных платформах: .NET, Java и Go - это одна из моих любимых тем (после AI, конечно), так что должно быть очень интересно. Кстати, конкретно доклад Жени будет транслироваться для всех безоплатно.

🔥Конкурс🔥
Я люблю коллекционировать классные кейсы применения LLM в разработке, а потом о самых удачных рассказывать другим разработчикам. Поэтому, если у вас есть крутые кейсы из практики - предлагаю поделиться ими в комментариях к этому посту. А автору самого интересного кейса достанется билет на этот DotNext (онлайн или оффлайн).


Пробелов.NET. Спасибо, что читаете :)
⚡️ Новый выпуск AIA Podcast уже онлайн!

Сегодня говорим про миллиард для Суцкевера, хайп вокруг Cursor, самосознание у Claude, ИИ-цивилизацию в Minecraft, нового человеко-подобного робота NEO Beta, калифорнийский закон SB-1047 и следующую версию GPT - GPT Next.

👉 YouTube: https://youtu.be/udXFf5O5-0o
👉 Apple Podcasts: https://bit.ly/aia-apple
👉 Spotify: https://bit.ly/aia-spotify
👉 Скачать mp3: https://aia.simplecast.com/episodes/41
Forwarded from БлоGнот
This media is not supported in your browser
VIEW IN TELEGRAM
Небольшое видео расслабиться перед трудовой неделей — как бы выглядел французский сериал 60-х о современных событиях и современных героях.
Forwarded from Denis Sexy IT 🤖
Давно порываюсь вам написать про ТГ-сетки которые про ML-пишут и что им не стоит верить, вот пример

Что на самом деле происходит с этой новой моделью Reflection-70B:

1. Пару дней твиттерский показал языковую 70B модель которая с рекордами прошла все бенчмарки (по его утверждению это был файнтюн Llama 3.1 70b ) и что такая же 400b будет вот-вот

2. Модель начала вируситься, ее начали качать и оказалось, что она толком не работает потому что там внутри немного битый конфиг ее запуска (это если простыми словами)

3. Автор перезалил модель, сказал что все починил и все работает — но теперь оказалось что нужно использовать только специальный системный промпт чтобы она работала

4. Сообщество начало тестировать, разобрало модель по кусочкам и оказалось, что это файнтюн Llama 70b 3.0, а не 3.1. И причем не файнтюн модели целиком, а просто Lora-адаптер вмерженного в модель (тренируют кусочек модели который замещает часть модели)

5. Автор сказал, я вообще не помню что я там использовал — толи 3.0 толи 3.1, что такое Lora я не знаю, это не важно все — мы тут сейчас все заново поставим тренироваться, уже поставили точнее (зачем перетренивать модель которая по метрикам побила все бенчмарки пару дней назад мы не узнаем)

6. Параллельно с этим, появилась веб-версия этой модели о которой пишет Бекдор — и ее API дали сегодня протестировать сторонней организации, она неплохо справилась и подтвердила что результаты высокие (но модель доступна только по API)

7. Пару часов назад автор публикует новую версию модели Reflection 70b и сразу пишет, что с ней что-то не так: «Веса залились, но мы все еще проверяем, чтобы убедиться, что они правильные, прежде чем мы собираемся закончить день» – зачем заливать модель до тестов? Ответа нет

8. Люди тестирующие веб версию Reflection 70b, обратили внимание, что она очень похожа на Sonnet 3.5 — буквально токен в токен отдает ответы такие же ответы

<играет цирковая музыка, вы находитесь здесь>

Буду держать вас в курсе нашей высокотехнологичной драмы – возможно, чел правда что-то натренил, но пока мы не знаем что.

Ну и для нейронок лучше читать проверенные ML-каналы, сейчас такое время, что все экспертами в АИ стали (я даже не про свой, я их часто сюда репощу)
Хехе, GPT-Next - это не название следующей модели, а плейсхолдер. Фальшстарт, короче
Media is too big
VIEW IN TELEGRAM
aider — AI-Junior разработчик, доступный из вашей любимой IDE

Друзья, совместно с клубом Эволюция Кода публикуем воркшоп по (субъективно) наиболее удобному инструменту для разработки aider, доступному из любой IDE.
По-моему, на текущий момент это единственный воркшоп по aider в открытом интернете.

А что вообще за aider такой?
aider это инструмент для парного программирования с использованием языковых моделей (LLM), позволяющий редактировать код в вашем локальном git-репозитории. С его помощью вы можете начать новый проект или работать с существующим git-репозиторием. Aider наиболее эффективен при использовании GPT-4o и Claude 3.5 Sonnet, но также совместим практически с любыми другими языковыми моделями (официальное описание).

От себя добавлю, что aider — это действительно прекрасный инструмент, который, фактически, служит клеем между IDE и LLM; в консоли разработчик на естественном языке описывает то, что нужно исправить/создать, aider обрабатывает это сообщение, сам патчит необходимые исходные файлы, (если надо) запускает команды в консоли (типа dotnet install) и коммитит изменения в репозиторий. В общем, инструмент мощнейшний.

Пользуясь случаем подробнее расскажу про клуб Эволюция кода.
В клубе регулярно проводятся тематические созвоны и воркшопы, а его участники регулярно делятся полезными инструментами - например, недавно запостили ссылочку на открытый инструмент для чата с репозиторием (поиск по коду на естественном языке).
Коллекция юзкейсов: https://github.com/it-beard/evocoders/discussions

Отдельно хочу поблагодарить Лекса @itbeard, который организовал этот воркшоп.


Пробелов.NET. Спасибо, что читаете :)
Подзадолбали айтишные дедули, ноющие о том, что ИИ не умеет писать код. Учитесь пользоваться инструментами - и будет вам счастье! Вон, даже какой-то блогер уже может сделать клон Google и Perplexity за 15 минут: https://youtu.be/9yQlC9w0JYo
Через 1 час и 15 минут в честь Дня Программиста дропну для вас очень крутой подарочек, не пропустите :)
И да, всех с праздником!❤️
Примерно с декабря 2023 года я вместе с командой крутейших контентоделов работал над созданием документального фильма про язык программирования Kotlin. Для нас это была абсолютно необычная активность, ибо покуситься на формат документальных фильмов команде, которая никогда этим не занималась, но очень хотела, было весьма смело, амбициозно и рискованно, я вам скажу 😁

Мы провели недели в съёмках, катаясь по всей Европе (и не только!), чтобы услышать историю создания Kotlin из первых уст — от людей, которые своими руками взращивали язык, туллинг и сообщество вокруг языка. Месяцы работы над опросниками, планированием, сценарием, монтажом, сотни созвонов, миллионы корректировок. У нас в руках оказалось более сорока часов материала, который нужно было превратить в полуторачасовую увлекательную историю. Мы сталкивались с новыми для нас задачами буквально каждую неделю, и это было просто невообразимо сложно и интересно!

На пути к итоговому фильму мы встретили много преград, конфликтов и неурядиц, но всё-таки продрались через все эти терновые кусты, и вот, спустя практически десять месяцев работы, я хочу представить вам документальный фильм "Beyond The Success Of Kotlin": https://youtu.be/E8CtE7qTb-Q

Мы изначально целились на англоязычную аудиторию, так как хотели рассказать историю Котлина всему миру, а также испытать наши возможности в ненативной для нас языковой среде. Но мы также понимали, что история Котлина будет интересна и вам, ребятам из русскоязычной среды, ведь в далёком 2008 году Котлин начинался именно в ней. Поэтому мы подготовили русские субтитры, а также полный перевод описания фильма на YouTube. Надеюсь, каждый сможет погрузиться в эту увлекательную и вдохновляющую историю!

Спасибо всем участникам фильма, и отдельное спасибо хотелось бы сказать нашей команде: Артём Малышев, Артур Гайнуллин, Паша Судаков, Антон Комаров, Витя Шеленченко, Саша Жукова, Лена Прохорова и Андрей Усиков. Отлично поработали, ребята!

Мы вложили очень много времени, сил и даже частичку своей души в этот фильм, поэтому нам очень важно, чтобы его увидело как можно больше людей. Буду благодарен всем и каждому, кто поделится фильмом в своих соцсетях! Кажется, что он достоин этого 😊

Всех с Днём Программиста!
АйТиБорода pinned «Примерно с декабря 2023 года я вместе с командой крутейших контентоделов работал над созданием документального фильма про язык программирования Kotlin. Для нас это была абсолютно необычная активность, ибо покуситься на формат документальных фильмов команде…»
OpenAI нас тоже поздравили: выкатили новое поколение моделей (название говорящее - "о1"), и буквально сразу тади доступ к ним в подписке ChatGPT Plus. Праздник какой-то!
Тут между делом в открытом доступе появилось еще два материала из Эволюции Кода:

👉 Первая часть разбора книги "A Thousand Brains - A New Theory of Intelligence" (1/3)
👉 Воркшоп по aider с Родионом Мостовым.

В ближайшее время не планирую выкладывать больше клубного контента во вне, кажется что его уже достаточно лежит на канале, чтобы понять, что у нас там к чему и присоединиться 😊
Пост для беларусов и тех, кто понимает беларуский язык и интересуется нашей айтишной повесткой:

Тут на канале "ЧестнОК-LIVE" вышло большое ламповое интервью с моим участием: https://youtu.be/Lz1oceRKzNE. Говорим про жизнь в Польше, айтишку тут и в РБ, каналы, работы, беларуских айтишных деятелей, бизнесменов, и какого-то Цепкаловича.

Если смотрите из Беларуси, то канал помечен местным "знаком качества", ну вы поняли 😉

P.S. Хахаха, только сейчас заметил, что обложка очистительная. Пойду значит и на канале запощу 😊
EMERGE Conf, вы там ничего не перепутали? Препати в офисе яндекса? А чего на сайте не написали? А как будете это объяснять тем, кто купил билеты, и не думал, что вы сотрудничаете с этой помойкой? А как теперь спикеры из Майкрософта и прочих западных компаний будут у вас выступать? А как вам в Лондоне живется с такими зашкварами?

Очень обидно. Когда-то я восхищался этой конфой и её организаторами, даже делал про них выпуск. Хватило пары лет, чтобы скатиться. Но, бабки не пахнут, видимо.

Если я не прав, то жду в комментах пояснение в чём. Жесть.