Переклад відео на російську мову в реальному часі від Яндекса: як включити та користуватися
Компанія Яндекс не боїться впроваджувати нові технології у свої продукти – тільки так і можна зберігати їхню привабливість та актуальність. І в деяких аспектах Яндекс може навіть запропонувати своїм користувачам те, чого позбавлені імениті програми-аналоги. Так, у 2021 році у фірмовому Яндекс Браузері з черговим оновленням з'явилася дуже цікава та затребувана функція. Вона дозволяє автоматично перекладати та російською мовою озвучувати відео на різних популярних платформах, наприклад, на тому ж YouTube.
Якими мовами працює автоматичний переклад відео в Яндекс Браузері?
Спочатку перекладати можна було лише з англійської мови. З того часу сервіс розвивався і тепер він підтримує вже 5 мов:
- англійська;
- німецька;
- іспанська;
- французька;
- китайська.
Про цей корисний функціонал Яндекс Браузера знають небагато, адже можливість дуже зручна. Додаток можна встановити хоча б для того, щоб скористатися саме цим перекладачем відео. Озвучка за допомогою нейронних мереж добре показує себе при онлайн-перегляді презентацій. Все ж таки субтитри відволікають, заважаючи паралельно з прослуховуванням виконувати інші завдання.
Спочатку функція була застосовна тільки до відібраних відео, але зараз вона успішно справляється і з прямими онлайн трансляціями. Найцікавіше, що перекладач відрізняє стать одного спікера від іншого, для цього використовуються різні чоловічі та жіночі синтезовані голоси.
Як працює синхронний переклад відео Яндекса та як краще користуватися цією функцією?
Як працює автопереклад відео російською мовою в Яндекс Браузері?
Щоб реалізувати цю функцію, Яндексу довелося задіяти не лише технології сервісу «Перекладач», а й синтез мови, біометрію. Для озвучування відео використовуються можливості одразу шести нейромереж, а не однієї, як могло б здатися.
Перша нейромережа ідентифікує мову, якою говорить спікер. Якщо мова підтримується, то в браузері з'явиться віконце з пропозицією здійснити переклад відео російською мовою.
Друга нейромережа відповідає за переклад мови у текст. Формується модель з аудіодоріжкою, в якій алгоритми виявляють та видаляють зайві звуки. Ця ж нейромережа вичищає слова-паразити, роблячи підсумковий результат чистішим.
Третя нейромережа відповідає за приведення тексту до виду, що сприймається, розставляє необхідні розділові знаки. На вході ця нейромережа отримує просто набір перекладених слів. З них потрібно за допомогою пунктуації створити грамотні речення, зберігши при цьому початковий зміст. Нейросеть отримує ще й виділений контекст, щоб вона розуміла, про що взагалі в ролику йдеться. Цей вектор допомагає розставити слова на потрібні місця та забезпечити їх смисловий зв'язок. Іноді на це потрібен додатковий час. Але у разі стримування невелика затримка – неминучий компроміс для забезпечення якості.
Розробники кажуть, що якщо немає впевненості у тому, як треба розбивати промову на пропозиції у конкретному випадку, то можна зачекати на новий матеріал, нові слова. Це допоможе визначитися з розбиттям або перевищить обмеження по контексту і змусить нейромережа формувати фрази з певною, нехай і не зі стовідсотковою, часткою впевненості.
Четверта нейромережа визначає, скільки людина взагалі каже, яка їхня стать і якими займенниками вони користуються.Алгоритм визначає, чоловічий голос чи жіночий, за рахунок частоти звучання. У чоловіків вона становить 80–150 Гц, а у жінок 150–250 Гц.
П'ята нейромережа вже безпосередньо перекладає текст російською мовою.
Остання, шоста нейромережа, відповідає за синтез мови та її синхронізацію з роликом. Саме вона вставляє паузи, коли замовкає спікер, слідує його темпу мови, то сповільнюючись, то прискорюючись.
Як Яндекс автоматично переказує прямі (онлайн) відео трансляції?
Обробляти стриму набагато складніше, ніж готовий ролик. Адже це відео не можна заздалегідь проаналізувати та зрозуміти, як краще зробити озвучку. У випадку з готовим роликом є для обробки готова аудіодоріжка, тоді як зі стримом все складніше. Нейросети змушені здійснювати синхронний переклад прямо «на льоту» доріжки, що створюється.
Така відмінність змушує вибирати різні технології, але загалом мовні моделі все одно використовуються ті самі. Якщо Яндекс працює зі стримом, то додатково задіяна третя нейромережа, яка допомагає нормалізувати мову. Алгоритми виявляють початок і кінець речення, виділяють вступні слова, складносурядні речення і так далі.
А після розміщення нейромережею розділових знаків система вже формує закінчені за змістом пропозиції і направляє їх для перекладу.
В результаті затримка під час прямих трансляцій може становити від 20 до 50 секунд.
Це можна вважати хорошим результатом, який дозволяє все ж таки не відставати від темпу того, що відбувається.
Приємно вражає можливість системи працювати з різними голосами. Здається, що це з'явилося нещодавно. Адже спочатку переклад пропонував лише два голоси: чоловічий та жіночий. Тепер кожен з них отримав додаткові варіанти.
Як включити автопереклад відео російською мовою в Яндексі?
Ця функція працює на різних операційних системах: Windows, MacOS, Android, iOS, але тільки в додатках Яндекс або Яндекс Браузер.
Щоб запустити переклад, вам потрібно просто відкрити відео на одній із популярних платформ: YouTube, Rutube, Vimeo або подібних до них. Запустіть відтворення, невдовзі автоматично з'явиться кнопка перекладу ролика. Вам треба просто натиснути на неї.
Якщо ролики дрібні, процес перекладу займе пару секунд. Якщо ж йдеться про трансляції, то доведеться почекати 15-20 секунд у разі нового стриму. Якщо ж він уже якийсь час іде, то знадобиться набагато менше – та сама пара секунд.
Користь від функції автоматичного перекладу відео російською мовою в Яндекс.Браузері
Не секрет, що багато іноземних відео російською мовою подивитися не вдасться. Деякі блогери можуть дозволити собі дубляж. А ось автопереведення в Яндекс Браузер без проблем вирішує цю проблему. Усього пара кліків – і ви вже дивитеся відео російською мовою, не відволікаючись навіть на субтитри. До уваги нічого не заважає, а озвучка досить якісна, щоб передавати суть.
Можна лише поскаржитися на відсутність у озвучення живих ноток. Хочеться чути більше інтонацій, які стосуються промови спікера. Поки що наголос зроблено на якість перекладу, а не на природність мови. Та й не з усіма стримами функція працює так, як від неї очікуєш. Але незабаром Яндекс, напевно, це виправить, адже проект постійно розвивається.
🔥 Дивіться також:
🍏 Ми в Telegram та YouTube, підписуйтесь!
Нейросітка "Яндекса" якісно перекладає іноземні ютуб-відео: як їй користуватися
Нейросети «Яндекса» більше року перекладають російською мовою та озвучують відео.Вони вміють розрізняти різних спікерів в одному ролику та знають п'ять мов.
Прототип технології машинного перекладу відео та закадрового озвучення в реальному часі «Яндекс» представив у липні 2021 року. Тоді він працював лише з відібраними відео англійською мовою. Через півтора року ця функція — одна з найкорисніших у «Яндекс-браузері». Технологія дозволяє перекладати відео вже з п'яти мов: англійської, французької, іспанської, німецької та італійської.
Розповім, як активувати функцію, як вона працює і які проблеми довелося подолати для створення якісного закадрового озвучення нейромережами.
Навіщо потрібний закадровий переклад відео
Контенту російською значно менше, ніж англійською. У листопаді 2022 року у всьому інтернеті налічувалося понад 1,1 млрд сайтів. З них російською — менше 10%. Англомовне відео набагато більше, ніж російськомовне.
На YouTube можна зустріти цілі проекти, які опікуються іноземними роликами. Але це довго, багато відео так не переведеш, до того ж, перекладені ролики періодично видаляють за порушення авторських прав. Англомовні блогери та освітні проекти рідко додають російську озвучку — можна згадати хіба найпопулярнішого ютубера у світі Mr.Beast. Закадровий переклад від «Яндекс-браузера» вирішує багато з цих проблем.
Якогось корисного контенту російською мовою немає взагалі. Наприклад, відеороликів, які допомагають навчатися, розвиватися, вирішувати робочі та професійні завдання. Фотографи можуть вибрати об'єктив після перегляду відео, а дизайнери – графічний планшет. Більшість оглядів техніки спочатку з'являється саме англійською мовою.
Деякі теми взагалі важко знайти у російськомовному сегменті YouTube.Я зіткнувся з цим, коли шукав порівняння двох фотоапаратів миттєвого друку Polaroid.
Також у відкритому доступі є багато унікального та корисного контенту. Наприклад, курси або лекції від провідних світових університетів.
Допомагає переглядати відео у фоновому режимі. На тому ж YouTube непогано ситуація з субтитрами: вони навіть генеруються автоматично, у тому числі й російськомовні. Але так складніше сприймати відео незнайомою мовою під час готування або занять спортом.
До того ж, згідно з дослідженням Morning Consult, 86% опитаних росіян вважають за краще дивитися контент на стрімінгових платформах у дубляжі, а не з субтитрами або повністю в оригіналі. Це найвищий показник серед 15 країн — учасниць опитування.
Передплатникам Tinkoff Pro — наші курси про гроші та життя зі знижкою та підвищений кешбек.
Як включити закадровий переклад відео
В "Яндекс-браузері" на комп'ютері. Працює одразу ж на всіх популярних майданчиках, включаючи YouTube, Vimeo, TikTok, Twitter, Facebook та «Вконтакте». .
Соцмережа Facebook належить Meta — організації, діяльність якої визнана екстремістською та заборонена на території РФ
Для користувача процес виглядає дуже просто.Згенерований переклад можна включати та вимикати на будь-якому відрізку відео.
Технологія приглушує оригінальне озвучення і поверх накладає згенероване мовлення. Чоловічі голоси озвучуються чоловічим голосом, жіночі – жіночим. Технологія вміє розпізнавати кількох спікерів на одному відео, кожен з них матиме свій голос озвучки, щоб глядачі не заплуталися.
У налаштуваннях, які доступні поряд з іконкою перекладу, можна регулювати гучність оригінальної доріжки та увімкнути субтитри. Деякі відео технологія перекладає відразу ж, тому що інші користувачі перекладали їх раніше. Для переведення інших роликів доведеться почекати кілька хвилин. Коли ролик з російським озвученням буде готовий до перегляду, користувачеві прийде повідомлення.
Приблизний час перекладу відео вказується у програвачі. Якщо цієї інформації немає, відео вже перевелося
Тривалість вибраного відео не повинна перевищувати чотирьох годин. Переклад працює лише на платформах, де не потрібне ліцензування контенту. Наприклад, перевести серіал на «Нетфліксі» не вдасться.
У додатку "Яндекса" на смартфоні. Тут все те саме, що і на комп'ютері. Вбудувати закадровий переклад прямо в YouTube не можна, але ролик можна відкрити в браузері «Яндекса».
Іконка з перекладом з'явиться відразу під відео, якщо зникне - натисніть на ролик.
На смартфонах налаштувань менше: наприклад, не можна регулювати гучність оригінальної доріжки
В інших браузерах на комп'ютері. Офіційно закадровий переклад Яндекса не підтримується в інших браузерах. Але є неофіційні способи перенести функцію до Google Chrome або Safari.
Ми не наводимо посилання, оскільки скрипти розроблені третіми особами – використовуйте на свій страх та ризик.
Як увімкнути переклад прямих трансляцій
Переклад прямих трансляцій запустили у серпні 2022 року. Він працює в тестовому режимі: технологія синхронного перекладу та озвучки складніша, ніж у випадку з готовими роликами.
Перекладати можна лише стрими на деяких ютуб-каналах. Наприклад, запуски SpaceX та NASA, анонси від Apple та виступи з конференцій TED.
Для користувача переклад прямих трансляцій не відрізняється від перекладу відео. Потрібно натиснути на ту ж кнопку у вікні, і спікери почнуть розмовляти російською мовою.
Як саме нейромережі перекладають відео
Як саме працює технологія та які проблеми довелося вирішувати, мені розповів керівник перекладу відео у «Яндекс-браузері» Сергій Корбан.
Коли почалася робота над перекладом відео, браузер вже мав нейромережі, які вміють перекладати мову в текст і озвучувати текст за допомогою синтезу мови. Вони використовуються в інших продуктах: наприклад, голосовий помічник «Аліса» слухає людину та розпізнає її слова, а модуль для розпізнавання мови конвертує слова в текст.
Ці технології взяли за основу при розробці перекладу відео. Але час роботи над першою версією технології команда зіштовхнулася із деякими проблемами:
- Нейросети при перекладі не дуже добре вловлювали контекст, тому їх навчали на корпусах текстів різних тематик. Перша версія найкраще перекладала економічні, літературні теми та наукові статті. Зараз технологія добре справляється з біологією та фізикою, але з іншими темами періодично виникають складнощі, наприклад, з ігровими стримами — у них особлива лексика.
- Нейросети вміли лише визначати стать спікера — і то не завжди.У новій версії технологія вже може розпізнавати голоси різних спікерів в одному відео та їх підлогу. Завдяки цьому кілька спікерів однієї статі озвучуються різними голосами. Це голоси реальних людей, на яких нейромережа навчилася синтезувати озвучку.
- Переклад треба було помістити на ту ж звукову стежку, що й оригінал. У цьому довжина однієї й тієї фрази, сказаної різними мовами, може різнитися. Наприклад, у російській мові фрази зазвичай довші, ніж у англійській. Щоб озвучка потрапила до слів, нейромережа, яка відповідає за синтез мови, прискорює або сповільнює мовлення та робить паузи.
Всі ці проблеми вирішені у поточній версії технології перекладу відео. За це відповідають одразу шість нейромереж.
Перша нейромережа на боці перекладача визначає мову спікерів. Якщо вони розмовляють мовою, яка підтримується, браузер запропонує перекласти відео.
Друга нейромережа переводить мову спікерів у текст. Модель отримує аудіодоріжку, з неї вона має вичистити всі сторонні звуки. Модель вміє позбавлятися слів-паразитів. Після всіх обробок залишається послідовний набір слів – з ним працюватимуть інші нейромережі.
Третя нейромережа нормалізує текст і розставляє розділові знаки. Нормалізація - це перетворення тексту в одну нормальну словникову форму.
Наприклад, розшифрування скорочень. На цьому етапі послідовність слів також нарізається у речення. При складанні модель повинна зберегти початковий зміст.
Зверху показано, який текст нейромережа отримує на вході, а знизу як вона робить з цього набору слів речення. Джерело: "Яндекс"
Четверта нейромережа визначає, скільки спікерів на відео і який голос — чоловічий чи жіночий.Це потрібно, щоб на іншому етапі кожному спікеру привласнити свій голос.
Визначити стать можна за частотою голосу: у чоловіків це 80-150 Гц, у жінок - 150-250 Гц. Також допомагають і займенники, які вимовляє інший речник.
П'ята нейромережа перекладає отриманий текст російською мовою. Разом із текстом модель отримує інформацію про спікерів, щоб правильно розставити займенники.
Шоста нейромережа синтезує мовлення. На цьому етапі потрібно уникнути розсинхрону, тому що переклад пропозиції може виявитися в кілька разів довшим за оригінал. Іноді допомагають паузи спікерів, у ці моменти можна вкласти переклад. Але іноді доводиться пришвидшувати промову.
Як працює переклад прямих трансляцій
З погляду технологій переклад стриму та переклад записаного відео — два принципово різні завдання. Переклад потокових відео побудований на іншій архітектурі, але працює з тими самими моделями.
Перекладати потокові відео складніше. Потрібно одночасно вирішувати два суперечливі завдання — підтримувати якість перекладу та не відставати від спікерів. При перекладі звичайних роликів нейромережі отримують аудіодоріжку відразу повністю. Вони мають час її проаналізувати, розбити промову на пропозиції та синтезувати озвучку російською мовою.
Під час роботи з прямими трансляціями такого запасу часу немає – технологія працює майже як синхронний перекладач. Щоб затримка в перекладі була невеликою, на допомогу приходить нейромережа, яка розставляє в тексті розділові знаки. Це допомагає зрозуміти, де починається і закінчується пропозиція, знайти складові складносочиненного речення, вступні фрази, перерахування і так далі.
