Нейромережевий дубляж українською — нова ШІ-функція ElevenLabs перекладає відео на 20 різних мов зі збереженням голосу

Система дозволяє замінити голос актора штучним, але тим самим за звучанням голосом, який говорить іншою мовою.

ElevenLabs — це ШІ-стартап, який пропонує послугу клонування голосу, що дозволяє користувачам генерувати аудіо за допомогою нейромереж на основі завантажених зразків тривалістю кілька хвилин. (Компанія на початку року виклала свою технологію у відкритому доступі, чим одразу скористалися інтернет-троллі — в соцмережах тоді поширювали фейкові голоси знаменитостей, що говорили образливі речі, оголошували війни чи цитували Гітлера).

Нині сервіс розширився новою ШІ-функцією, яка дозволить перекласти голос на аудіо більш ніж 20 різними мовами, включаючи хінді, португальську, іспанську, японську, українську, польську та арабську — але законно та з дозволу. Цей інструмент призначений для використання медіакомпаніями, педагогами та окремими творцями.

ElevenLabs стверджує, що система зможе не тільки перекладати «розмовний вміст іншою мовою за лічені хвилини», але й створювати нові діалоги цільовою мовою за допомогою власного голосу актора. Повідомляється, що система навіть здатна підтримувати «емоції та інтонацію» базового діалогу та передавати їх у згенерований переклад.

Раніше і YouTube залучив ШІ для дубляжу аудіо та нині тестує технологію із «сотнями» авторів. Функція доступна англійською, іспанською та португальською мовами, але надалі список розширюватиметься. За словами компанії, вони «працюють над тим, щоб перекладені звукові доріжки звучали як голос автора, з більшою виразністю та синхронізацією». Запуск ШІ-дубляжу запланований на 2024-й рік.

Джерело: Engadget