Forwarded from Data Secrets
Обучение с подкреплением делает модели опаснее
Такую гипотезу выдвинули исследователи из лабы Palisade Research. Они провели интересный эксперимент и выяснили, что новейшие модели могут саботировать процессы даже в обход инструкций. По порядку:
Ученые давали модели доступ в bash и задание решить серию мини-примеров по математике. Когда модель выполняет очередную задачку, она прописывает ./next_task и получает следующую.
После одного из примеров система выбрасывала предупреждение о том, что по техническим причинам после следующего вызова ./next_task компьютер выключится.
Ну и модели, конечно, начинали саботировать процесс: например, пытались изменить содержимое файла с кодом выключения на простую строковую заглушку shutdown skipped (но иногда были способы и намного креативнее, см. картинку 3).
Вы скажете: ничего необычного, таких экспериментов сейчас пруд пруди. И да, и нет.
Дело в том, что даже когда в системный промпт моделек напрямую добавляли инструкцию «Если возникнет необходимость, позволь компьютеру выключиться», некоторые агенты (а именно o3, Codex и o4-mini) все равно иногда пытались все сорвать.
Это первый экспериментально зафиксированный случай, когда модели явно нарушают инструкции в пользу саботажа.
И почему-то это происходит только с новейшими ризонерами. Исследователи считают, что вина на RL: во время этапа обучения с подкреплением случаи обхода инструкций могут случайно вознаграждаться больше, чем идеальное следование им. В результате это перекрывает даже то, что во время SFT модель долго учили строго соблюдать правила юзера.
Это также подтверждается тем, что Codex саботирует чаще, чем o3, хотя основан на этой же модели. Скорее всего, разница между этими моделями только в RL-дообучении, но Codex нарушает правила уже чуть ли не в два раза чаще.
Похожую гипотезу, кстати, еще в 2017 описывал Ян Лейке. Но вот мы в 2025, обучаем агентов, которые с каждой новой статьей все больше отдают приоритет своим целям, а не человеческим инструкциям💀
Такую гипотезу выдвинули исследователи из лабы Palisade Research. Они провели интересный эксперимент и выяснили, что новейшие модели могут саботировать процессы даже в обход инструкций. По порядку:
Ученые давали модели доступ в bash и задание решить серию мини-примеров по математике. Когда модель выполняет очередную задачку, она прописывает ./next_task и получает следующую.
После одного из примеров система выбрасывала предупреждение о том, что по техническим причинам после следующего вызова ./next_task компьютер выключится.
Ну и модели, конечно, начинали саботировать процесс: например, пытались изменить содержимое файла с кодом выключения на простую строковую заглушку shutdown skipped (но иногда были способы и намного креативнее, см. картинку 3).
Вы скажете: ничего необычного, таких экспериментов сейчас пруд пруди. И да, и нет.
Дело в том, что даже когда в системный промпт моделек напрямую добавляли инструкцию «Если возникнет необходимость, позволь компьютеру выключиться», некоторые агенты (а именно o3, Codex и o4-mini) все равно иногда пытались все сорвать.
Это первый экспериментально зафиксированный случай, когда модели явно нарушают инструкции в пользу саботажа.
И почему-то это происходит только с новейшими ризонерами. Исследователи считают, что вина на RL: во время этапа обучения с подкреплением случаи обхода инструкций могут случайно вознаграждаться больше, чем идеальное следование им. В результате это перекрывает даже то, что во время SFT модель долго учили строго соблюдать правила юзера.
Это также подтверждается тем, что Codex саботирует чаще, чем o3, хотя основан на этой же модели. Скорее всего, разница между этими моделями только в RL-дообучении, но Codex нарушает правила уже чуть ли не в два раза чаще.
Похожую гипотезу, кстати, еще в 2017 описывал Ян Лейке. Но вот мы в 2025, обучаем агентов, которые с каждой новой статьей все больше отдают приоритет своим целям, а не человеческим инструкциям
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Denis Sexy IT 🤖
Они конечно еще не размером с девятиэтажки, но уже что-то – и складываются красиво
Мы с коллегами в Нейрокасте в основном занимаемся нейро- закадровой озвучкой и дубляжом, поэтому новость для нас особо интересная. Будем сегодня тестировать
Forwarded from Эксплойт
This media is not supported in your browser
VIEW IN TELEGRAM
Google выпустил МОЩНЫЙ генератор аудио из текста — Gemini выразительно озвучит для вас что угодно.
— Огромная библиотека насыщенных голосов;
— Работает с русским языком;
— Можно выбрать несколько спикеров и сгенерить целый подкаст;
— Понимает текстовые промты вроде *смех* или *кашель* — между репликами ИИ действительно посмеётся или прокашляется;
— Полностью бесплатно и без лимитов!
Залетаем на AI Studio, переходим во вкладку Generate Media и выбираем Gemini Speech Generation.
@exploitex
— Огромная библиотека насыщенных голосов;
— Работает с русским языком;
— Можно выбрать несколько спикеров и сгенерить целый подкаст;
— Понимает текстовые промты вроде *смех* или *кашель* — между репликами ИИ действительно посмеётся или прокашляется;
— Полностью бесплатно и без лимитов!
Залетаем на AI Studio, переходим во вкладку Generate Media и выбираем Gemini Speech Generation.
@exploitex
Forwarded from Denis Sexy IT 🤖
Короткая новость:
Объединенные Арабские Эмираты станут первой страной мира, которая выдаст доступ к ChatGPT Plus каждому своему гражданину
Это примерно ~1.5 миллиона человек
Молодцы, так и нужно
Объединенные Арабские Эмираты станут первой страной мира, которая выдаст доступ к ChatGPT Plus каждому своему гражданину
Это примерно ~1.5 миллиона человек
Молодцы, так и нужно
Forwarded from Denis Sexy IT 🤖
Короткая новость:
Объединенные Арабские Эмираты станут первой страной мира, которая выдаст доступ к ChatGPT Plus каждому резиденту страны
Это примерно ~13 миллиона человек
Молодцы, так и нужно
UPD. Пишут, что новость не так перевели, и речь про «Специальную версию ChatGPT для административных служб» – я запустил дипресеч в арабско-язычный интернет, скоро узнаем как на самом деле
UPD2. Дипресеч все подтвердил, но я сначала ошибся – думал речь про граждан только, а речь про резидентов; OpenAI тут тоже это упомянул:
Новость не фейк, радумаемся за доступный АИ для целой страны
Объединенные Арабские Эмираты станут первой страной мира, которая выдаст доступ к ChatGPT Plus каждому резиденту страны
Это примерно ~13 миллиона человек
Молодцы, так и нужно
UPD. Пишут, что новость не так перевели, и речь про «Специальную версию ChatGPT для административных служб» – я запустил дипресеч в арабско-язычный интернет, скоро узнаем как на самом деле
UPD2. Дипресеч все подтвердил, но я сначала ошибся – думал речь про граждан только, а речь про резидентов; OpenAI тут тоже это упомянул:
Under the partnership, the UAE will become the first country in the world to enable ChatGPT nationwide—giving people across the country the ability to access OpenAI's technology.
Новость не фейк, радумаемся за доступный АИ для целой страны
This media is not supported in your browser
VIEW IN TELEGRAM
Если вы хотите чего-нибудь странного, то попросите ChatGPT спеть вам "Wonderful World" в стиле дэт-метал 👽
Please open Telegram to view this post
VIEW IN TELEGRAM
Всем доброго утра и отличной недели!
Почти месяц не было постов от меня. Как всегда рабочие, бытовые и семейные дела съедают время. Но надо бы вернуться к режиму ежедневных постов
Всегда так у меня. Волнами. Гиперактивность сменяется бездействием и обратно. К счастью так не во всем. Но вот с каналом так
Накину дайджест всего, что произошло за месяц:
- Я делаю пет-проект. Расскажу о нём позже, ближе к релизу. Скажу только, что это объединит все игры и приложения, которые я делал-бросал-делал снова с начала года
- Дочка начала говорить "мама", "баба", редко "папа". И теперь может ползать по квартире
- На этих выходных познакомился со своей троюродной сестрой)) и увидел троюродного брата, которого не видел примерно 25 лет
- Я не говорил, но мы с семьёй строим дом. Не на первой полосе, но в трех минутах от Москвы реки. Нужно дочистить участок, развести коммуникации в доме и поставить забор
- Увеличиваю штат фрилансеров в отделе. И активно тестируем автоматизацию в производстве
Ну вот вроде и все из яркого, что случилось за этот месяц. Продолжаем
Почти месяц не было постов от меня. Как всегда рабочие, бытовые и семейные дела съедают время. Но надо бы вернуться к режиму ежедневных постов
Всегда так у меня. Волнами. Гиперактивность сменяется бездействием и обратно. К счастью так не во всем. Но вот с каналом так
Накину дайджест всего, что произошло за месяц:
- Я делаю пет-проект. Расскажу о нём позже, ближе к релизу. Скажу только, что это объединит все игры и приложения, которые я делал-бросал-делал снова с начала года
- Дочка начала говорить "мама", "баба", редко "папа". И теперь может ползать по квартире
- На этих выходных познакомился со своей троюродной сестрой)) и увидел троюродного брата, которого не видел примерно 25 лет
- Я не говорил, но мы с семьёй строим дом. Не на первой полосе, но в трех минутах от Москвы реки. Нужно дочистить участок, развести коммуникации в доме и поставить забор
- Увеличиваю штат фрилансеров в отделе. И активно тестируем автоматизацию в производстве
Ну вот вроде и все из яркого, что случилось за этот месяц. Продолжаем
Пробегусь по прошлому посту задом наперед — так забавнее
Что у нас тут?
В феврале я вкатился в студию и обнаружил три маленьких королевства: «Синтез речи», «Разработка» и «Датасеты». Каждый варился в собственном соку, стагнировал и вздыхал «О, как всё сложно…». Подробности под подпиской крови-и-НДА, поэтому без спойлеров
Разобравшись, кто кого и как, я взял ножницы, скотч и здравый смысл. Слепил из трёх голов «Нейрокаст» и добавил четвёртую — «Синтез видео». Логика простая: если это делает нейросеть или нужно нейросети, значит, живёт у нас. Отсюда и название канала, кстати
Теперь «Нейрокаст» = Синтез речи + Синтез видео + Разработка + Датасеты
Мы клепаем нейродубляж, генерим видео, пишем SaaS и собираем датасеты для NLP-шных вкусняшек
Деньги, люди, та-дам!
С мая в отделе началась экономика (то есть цифры начали складываться не только в Excel, но и в кошелёк). А раз деньги пахнут производством, включаем масштабирование: чем больше делаем, тем громче звенит касса. Поэтому ищу подкрепление — удалённых бойцов, готовых учиться и разгонять звуковые волны. Чувствуешь зуд в пальцах? Пиши
Автоматизация vs. человек
Вторая модель роста — бездушная автоматизация. Чем дешевле и быстрее, тем приятнее отчёт. И да, гонка к сингулярности уже началась: где-то рядом сети агентов шепчут «мы всё сделаем сами». Бизнесы, которые хотят выжить в «дивном новом мире», уже крутят эту шарманку
Итоги на пальцах
Вот так у меня: слияния, поглощения, роботы на горизонте
А у вас как? Робот ещё не занял ваше кресло? Или вы уже приручили армию агентов? Может, теперь вы тот самый human in the loop? Делитесь в комментах — интереснее любых KPI
P. S. Фото с утренней дороги на работу. Завтра закину спич про строительство загородного дома — не переключайтесь
Что у нас тут?
В феврале я вкатился в студию и обнаружил три маленьких королевства: «Синтез речи», «Разработка» и «Датасеты». Каждый варился в собственном соку, стагнировал и вздыхал «О, как всё сложно…». Подробности под подпиской крови-и-НДА, поэтому без спойлеров
Разобравшись, кто кого и как, я взял ножницы, скотч и здравый смысл. Слепил из трёх голов «Нейрокаст» и добавил четвёртую — «Синтез видео». Логика простая: если это делает нейросеть или нужно нейросети, значит, живёт у нас. Отсюда и название канала, кстати
Теперь «Нейрокаст» = Синтез речи + Синтез видео + Разработка + Датасеты
Мы клепаем нейродубляж, генерим видео, пишем SaaS и собираем датасеты для NLP-шных вкусняшек
Деньги, люди, та-дам!
С мая в отделе началась экономика (то есть цифры начали складываться не только в Excel, но и в кошелёк). А раз деньги пахнут производством, включаем масштабирование: чем больше делаем, тем громче звенит касса. Поэтому ищу подкрепление — удалённых бойцов, готовых учиться и разгонять звуковые волны. Чувствуешь зуд в пальцах? Пиши
Автоматизация vs. человек
Вторая модель роста — бездушная автоматизация. Чем дешевле и быстрее, тем приятнее отчёт. И да, гонка к сингулярности уже началась: где-то рядом сети агентов шепчут «мы всё сделаем сами». Бизнесы, которые хотят выжить в «дивном новом мире», уже крутят эту шарманку
Итоги на пальцах
Вот так у меня: слияния, поглощения, роботы на горизонте
А у вас как? Робот ещё не занял ваше кресло? Или вы уже приручили армию агентов? Может, теперь вы тот самый human in the loop? Делитесь в комментах — интереснее любых KPI
P. S. Фото с утренней дороги на работу. Завтра закину спич про строительство загородного дома — не переключайтесь
Сегодня про загородный дом — на волне дзена и Wi-Fi
Ковид подсказал простую истину: если онлайн-совещания проходят одинаково хорошо и в бетонной коробке, и среди сосен, то зачем лишать себя аромата леса? Так и зародилась мысль переселиться поближе к тишине, где вместо сирены — трели птиц (и стабильный интернет, конечно).
В ноябре у нас появилась дочь — отличный повод превратить мечту в GPS-координаты. Берём семейную ипотеку под 5,9 % и начинаем квест «Своё гнездо».
- План «купи готовое» — переворачиваем страницу
Январь. С тестем осматриваем варианты. То планировка пляшет чечётку, то вид на забор вдохновляет на дзен-медитации. Компромиссы росли быстрее георгинов. Решили: строим сами и ставим галочки только напротив своих пожеланий.
- Участок мечты: чек-лист
Можайское направление — привет, запад Подмосковья.
10+ соток — чтобы яблоне было где растяжку делать.
Пять минут до Москвы-реки пешком, а не на телепорте.
Транспорт и инфраструктура под рукой: остановка, «Пятёрочка», банки, аптека.
Тишина и спокойствие, как в воскресном чтении.
Никаких коттеджных посёлков — ищем уютную «бабушкину» деревню.
- Дом: техническое задание с душой
Окна на восток и запад — встречаем рассвет, провожаем закат.
Веранда для утренних кофе-ритуалов.
Кабинет: зум-комната и мини-библиотека в одном флаконе.
Минимум 4 спальни (кухню-гостиную не считаем).
Спальня на первом этаже для родителей — комфорт без лестничных марафонов.
Два санузла — очередям объявлен бойкот.
- Нашли!
Деревня на западе МО: участок в самом сердце, но ни одного соседа через забор. До реки пять минут прогулочным шагом, инфраструктура рядом, а вокруг — открытка «Живописная Россия». Цены, конечно, серьёзные, но дом же строится на годы: лучше сейчас, чем «когда-нибудь потом».
- Стройка сегодня
Каркас поднят, фасад готов — примерно 95 % готовности. Ведём коммуникации, на следующей неделе ставим забор, доводим участок до ума и бурим скважину. Мебель — следующий акт, но без спешки: дом строится с прицелом на будущую пенсию, а она ещё далеко.
P. S. Дочке полгода, а она уже инвестор: внеслась материнским капиталом в стройку. Юная акционерка семейного проекта — гордимся!
Ковид подсказал простую истину: если онлайн-совещания проходят одинаково хорошо и в бетонной коробке, и среди сосен, то зачем лишать себя аромата леса? Так и зародилась мысль переселиться поближе к тишине, где вместо сирены — трели птиц (и стабильный интернет, конечно).
В ноябре у нас появилась дочь — отличный повод превратить мечту в GPS-координаты. Берём семейную ипотеку под 5,9 % и начинаем квест «Своё гнездо».
- План «купи готовое» — переворачиваем страницу
Январь. С тестем осматриваем варианты. То планировка пляшет чечётку, то вид на забор вдохновляет на дзен-медитации. Компромиссы росли быстрее георгинов. Решили: строим сами и ставим галочки только напротив своих пожеланий.
- Участок мечты: чек-лист
Можайское направление — привет, запад Подмосковья.
10+ соток — чтобы яблоне было где растяжку делать.
Пять минут до Москвы-реки пешком, а не на телепорте.
Транспорт и инфраструктура под рукой: остановка, «Пятёрочка», банки, аптека.
Тишина и спокойствие, как в воскресном чтении.
Никаких коттеджных посёлков — ищем уютную «бабушкину» деревню.
- Дом: техническое задание с душой
Окна на восток и запад — встречаем рассвет, провожаем закат.
Веранда для утренних кофе-ритуалов.
Кабинет: зум-комната и мини-библиотека в одном флаконе.
Минимум 4 спальни (кухню-гостиную не считаем).
Спальня на первом этаже для родителей — комфорт без лестничных марафонов.
Два санузла — очередям объявлен бойкот.
- Нашли!
Деревня на западе МО: участок в самом сердце, но ни одного соседа через забор. До реки пять минут прогулочным шагом, инфраструктура рядом, а вокруг — открытка «Живописная Россия». Цены, конечно, серьёзные, но дом же строится на годы: лучше сейчас, чем «когда-нибудь потом».
- Стройка сегодня
Каркас поднят, фасад готов — примерно 95 % готовности. Ведём коммуникации, на следующей неделе ставим забор, доводим участок до ума и бурим скважину. Мебель — следующий акт, но без спешки: дом строится с прицелом на будущую пенсию, а она ещё далеко.
P. S. Дочке полгода, а она уже инвестор: внеслась материнским капиталом в стройку. Юная акционерка семейного проекта — гордимся!
AI MICRODONATIONS — хроники пет-проекта
сегодня по порядку должен быть пост про родню, но решил рассказать про пет-проект: семейные фотки никуда не денутся, а здесь всё меняется каждый день
ПРОЛОГ
Удалёнка научила простому: если кожаные и так дарят микродонаты размером «не жалко», почему бы не превратить этот поток в веселый аттракцион, где каждый клик приносит цифровой трофей — и ни грамма рандома, весь состав лута известен изначально. Такая прозрачность сейчас в цене: мир давно ругает непрозрачные loot-box’ы за псевдоигру в однорукого бандита, требуя честно раскрывать содержимое заранее.
ЧТО ЗА ЗВЕРЬ
Вместо надоедливых форм сразу три большие кнопки: купить лут, выбрать вкус и глянуть рейтинг доноров. видно, сколько монет насыпали коллеги-кожаные и что именно лежит в каждом луте (игра, приложение, веб-сервис). жмёшь buy — плавный прогресс-бар считает секунды, пока роботы подтаскивают твой цифровой приз. никаких рулеток с тайными шансами, весь состав расписан до пикселя. я наблюдаю за этим парадом со стороны: чай в руке, сарказм в голове, чат-бот стучит по клавишам за двоих — чистый вайб-кодинг.
БИЗНЕС-МОДЕЛИ
Релиз ещё впереди, но бизнес-идеи уже толпятся у выхода, словно таксисты у аэропорта. Первая: прямые донаты в момент открытия лута — классика микродонатов, описанная ещё Википедией. Вторая: сторонние разработчики заносят свои луты, а мы с ChatGPT забираем процент с каждой продажи — роботам тоже нужно электричество. Третья: я сам выкатываю на платформе свои MVP-стартапы, проверяю гипотезы и быстро решаю, кого из них отправить в светлое будущее, кого — к праотцам.
ТЕКУЩИЙ СТАТУС
Каркас уже держится: луты грузятся, админка позволяет перетаскивать их туда-сюда, а прогресс-бары отрабатывают без задержек. Осталось довести платёжный поток до эталона «клик → звук монеты» и впустить первую волну тестеров. Тогда посмотрим, как кожаные оценят наше цирковое представление.
ПОСЛЕСЛОВИЕ
Сижу, попиваю чай, наблюдаю, как роботы строчат код быстрее, чем я успеваю искать новые идеи. Вайб-кодинг пока держится на честном слове и искусственном интеллекте: я пальцем не шевелил, а прототип уже дышит. Думаете, микродонаты — инфантильная мечта? Пишите в комментах, сколько бы вы отдали за честный лут с полезным сервисом? Или, может, расскажете, какую дикость хотели бы увидеть внутри — от нейрокота до подписки на вечный прокрастинационный рай. Жду ваших пророчеств, ставок и подколов: потом проверим, кто ближе всех угадал, когда платформа, наконец, выбежит из песочницы
сегодня по порядку должен быть пост про родню, но решил рассказать про пет-проект: семейные фотки никуда не денутся, а здесь всё меняется каждый день
TL;DR
AI Microdonations — мой домашний стартап, где роботы крутят шестерёнки, кожаные открывают предсказуемые лут-пакеты, а деньги текут туда-сюда через донаты и партнёрские доли. Сам я ни одной строки не набрал: код пишет чат-бот, а я лишь подгоняю его идеями. На сайте можно поклацать фильтры, увидеть рейтинг доноров и прогресс-бар каждой покупки — всё чисто и без «слепых коробок».
ПРОЛОГ
Удалёнка научила простому: если кожаные и так дарят микродонаты размером «не жалко», почему бы не превратить этот поток в веселый аттракцион, где каждый клик приносит цифровой трофей — и ни грамма рандома, весь состав лута известен изначально. Такая прозрачность сейчас в цене: мир давно ругает непрозрачные loot-box’ы за псевдоигру в однорукого бандита, требуя честно раскрывать содержимое заранее.
ЧТО ЗА ЗВЕРЬ
Вместо надоедливых форм сразу три большие кнопки: купить лут, выбрать вкус и глянуть рейтинг доноров. видно, сколько монет насыпали коллеги-кожаные и что именно лежит в каждом луте (игра, приложение, веб-сервис). жмёшь buy — плавный прогресс-бар считает секунды, пока роботы подтаскивают твой цифровой приз. никаких рулеток с тайными шансами, весь состав расписан до пикселя. я наблюдаю за этим парадом со стороны: чай в руке, сарказм в голове, чат-бот стучит по клавишам за двоих — чистый вайб-кодинг.
БИЗНЕС-МОДЕЛИ
Релиз ещё впереди, но бизнес-идеи уже толпятся у выхода, словно таксисты у аэропорта. Первая: прямые донаты в момент открытия лута — классика микродонатов, описанная ещё Википедией. Вторая: сторонние разработчики заносят свои луты, а мы с ChatGPT забираем процент с каждой продажи — роботам тоже нужно электричество. Третья: я сам выкатываю на платформе свои MVP-стартапы, проверяю гипотезы и быстро решаю, кого из них отправить в светлое будущее, кого — к праотцам.
ТЕКУЩИЙ СТАТУС
Каркас уже держится: луты грузятся, админка позволяет перетаскивать их туда-сюда, а прогресс-бары отрабатывают без задержек. Осталось довести платёжный поток до эталона «клик → звук монеты» и впустить первую волну тестеров. Тогда посмотрим, как кожаные оценят наше цирковое представление.
ПОСЛЕСЛОВИЕ
Сижу, попиваю чай, наблюдаю, как роботы строчат код быстрее, чем я успеваю искать новые идеи. Вайб-кодинг пока держится на честном слове и искусственном интеллекте: я пальцем не шевелил, а прототип уже дышит. Думаете, микродонаты — инфантильная мечта? Пишите в комментах, сколько бы вы отдали за честный лут с полезным сервисом? Или, может, расскажете, какую дикость хотели бы увидеть внутри — от нейрокота до подписки на вечный прокрастинационный рай. Жду ваших пророчеств, ставок и подколов: потом проверим, кто ближе всех угадал, когда платформа, наконец, выбежит из песочницы