Команда разработчиков «Яндекса» сообщила об очередных доработках технологии закадрового перевода видеороликов на иностранных языках и включении поддержки синхронного перевода с использованием 12 голосов — шести мужских и шести женских.
Источник изображения: «Яндекс»
Система закадрового перевода интегрирована в «Яндекс.Браузер» и в полной мере использует технологии машинного обучения и искусственного интеллекта на базе нейронных сетей.
Для распознавания разных спикеров на видео используются две нейросети: сначала одна из них переводит речь в текст, восстанавливает пунктуацию и определяет границы предложений, затем вторая анализирует спектрограмму голоса и отмечает на аудиодорожке фрагменты, сказанные разными людьми. Таким образом становится ясно, кто из спикеров что произнёс, и воспринимать перевод видео с большим количеством действующих лиц становится намного легче.
«Мы постоянно работаем над качеством перевода и озвучки, чтобы дать нашим пользователям доступ к любому контенту со всего мира. По нашим оценкам, около половины YouTube-роликов на иностранных языках — это ролики с тремя и более спикерами. Смотреть их с двухголосой озвучкой не совсем удобно — поэтому мы и сделали десять новых голосов», — отмечают в «Яндексе».
В настоящий момент система закадрового перевода «Яндекса» поддерживает английский, французский, немецкий, испанский и итальянский языки. В планах компании — добавление новых языковых пар и расширение функциональных возможностей продукта.
Источник: 3DNews
