В одном из предыдущих выпусков AIA Podcast мы с Витей уже рассказывали вам про проект HeyGen, который обещал делать реалистичных видео-аватаров, неотличимых о вас самих. Тогда мы удивлялись, что это выглядит как фантастика.

Сегодня HeyGen запустил сервис, который переозвучивает видео на несколько языков и делает lip-syncing - синхронизацию губ под выбранный язык. В сервисе есть триальны режим, можно попробовать переозвучить видео до двух минут.

Вот вам результат, который получился у меня за 3 клика мышью. Сказать, что я удивлен - ничего не сказать. Качество перевода отличное, сохранена манера речи и есть сносный lip-syncing (это прям не простая задача для не родственных языков). Это next step. Жду когда они сделают ТП для переозвучки видео длиной час и больше - сейчас они работают с пятиминутными роликами, 6 роликов в месяц за 50 долларов.

UPD: Сервис официально не поддерживает русский язык в качестве input. Но, так как там на бэке видимо какая-то LLM'ка, то в целом можно забить на это правило.
#ai

Нет, это не я. Нет, это не переозвученный я. Это результат работы цифрового аватара HeyGen. Это созданный мною с нуля аватар, и его качество поражает. Дальше расскажу, как я это сделал.

Сервис HeyGen позволяет переозвучивать видео и делать цифровые аватары. Для теста я купил подписку уровня "Creator" за вполне подъемные 59$ в месяц. С ней вы можете создавать до 30 минут script-to-video в месяц. Script-to-video - это когда ты пишешь дословный сценарий, а твой аватар его озвучивает. Не путать с text-to-video, это другое.

Дальше я снял несколько референсных (исходных) видео, на базе которых был создан аватар. Пример референсного видео - третий из поста. Сидишь и пару минут говоришь на камеру в своей манере. Главное быть естественным и говорить на одном языке (любом). На основе этого видео HeyGen довольно шустро делает аватар, который уже и используется для script-to-video.

В референсном видео из этого поста у меня звук с петли Rode Wireless Pro. Звук у петли хороший, но для качественной реплики он не подошел - то что выдал HeyGen не было похоже на мой голос. Потому я на скорую снял видео для второго автара, в котором не парился с качеством картинки, но голос записал на профессиональный микрофон Shure sm7b. В итоге получилось очень похоже на меня. В сервисе вы можете миксовать голоса разных аватаров, тут нет проблем.

И ещё из важного - это "файнтьюнинг". Для качественного результата надо снимать референсное видео на хорошую камеру и с хорошим светом. Второе видео из поста - результат работы аватара без "файнтьюнинга". На нём у меня и борода рассыпается, и рот не так круто выглядит, как мог бы. Процесс файнтьюнинга в HeyGen - это когда ты доплачиваешь 49$ и ждешь 12 часов. Такой себе "файнтьюнинг", но результат после него действительно лучше. Борода не рассыпается, рот и зубы проработаны чётче.

В общем, я очень под впечатлением. Буквально за 110$ вы получаете идеального аватара, разговаривающего на 10+ языках. Скоро сделаю целый видос, где буду полностью заменен аватаром, следите за обновлениями 😎
#ai