Deepdub позволяет дублировать фильмы, не меняя голос персонажа
Стартап Deepdub из Израиля разработал интеллектуальную платформу с алгоритмами обучения, предназначенную для быстрого и автоматизированного перевода различного видеоконтента. По признанию разработчиков, они преследовали цель создать потоковый перевод развлекательных видеороликов. При этом им хотелось, чтобы зритель во время просмотра роликов, сериалов и/или кино на иностранном языке в полной мере мог наслаждаться игрой актёра и понимать его речь, без использования дубляжа или озвучивания.
Руководитель компании в своём интервью отметил, что в настоящее время, во время глобализации знание иностранных языков стало как никогда актуальным. Однако владеют иностранными языками очень небольшое количество людей на планете, отчего во время постпродакшна владельцам видеоконтента приходится искать специалистов и актёров дубляжа, в достойным уровнем владения иностранным языком. Всё это замедляет выпуск контента в прокат, а также влияет на увеличение его стоимости. Кроме того, иногда перевод и озвучивание получается далёкими от оригинала, из-за чего зритель может не улавливать суть происходящего на экране.
Алгоритмы новой платформы способны обучаться, самостоятельно распознавать текст, а также имитировать оригинальный голос артиста, звучащего в видеоролике. В процессе обработки аудио нейронные сети производят очистку голоса от посторонних шумов и звуков, а также музыки, создают отдельную звуковую дорожку с переводом. После чего ИИ следит за движением губ артиста и генерирует весьма правдоподобное озвучивание. Однако, пока приложение плохо справляется с идиомами и фразеологизмами. Именно поэтому разработчики привлекли к работе профессиональных переводчиков, филологов и лингвистов.
Пока приложение может работать на стадии пост-продакшена с шестью иностранными языками. В планах у разработчиков удвоить количеств языков, после чего выпустить своё детище на рынок. В настоящее время стоимость платформы неизвестна, однако очевидно, что она позволит существенно экономить деньги за счёт отказа от услуг актёров дубляжа. Кроме того, с помощью данного инструмента можно существенно ускорить процесс выпуска развлекательного контента, озвучивание которого может занимать до нескольких месяцев.
В настоящее время, стартап использует свою платформу для перевода фильмов и сериалов, и уже сотрудничает с некоторыми крупными компаниями, владеющими развлекательным видеоконтентом, есть среди них и стриминговые сервисы. В будущем году компания намеревается заключить договор с разработчиками видеоигр, а также с рекламными агентствами.
Примечательно что данный израильский стартап не единственный, кто работает над данной проблемой и уже успел добиться определённых успехов. Тем же самым занимаются сразу две американские компании Paper Cup и Resemble AI, каждая из которых сделала ставку на машинное обучение ИИ для перевода иностранной речи. Причём и они уже успели заключить договора о сотрудничестве с крупными поставщиками на американский рынок иностранного видеоконтента.
Get our database of 25 Million top Companies for $5
LeadsBox.biz
Hello,
MarketGirl.biz has made available our Google Maps Database for everyone.
I am shutting down the company to spend more time with my family.
I wish you a prosperous new year!
Lisa Cooper
MarketGirl.biz