Nov, 2022

用于将大规模跨语言配音的技术管道应用于多种印度语言的讲座视频

PDF
TL;DR本文描述了将英语讲座视频半自动化地翻译成 9 种印度语言，使其具有良好的口头表现，同时降低了 75% 的人工成本。
cross-lingual dubbinglecture videosdomain term discoverytext-to-speech synthesisindian languages
发现论文，激发创造
  • 实际配音：人类本土化的大规模研究及对自动补音的启示

    本研究探讨了人类如何将视频内容从一种语言翻译成另一种语言的配音任务，利用了 319.57 小时的录像数据，结果挑战了一些关于人类配音和自动配音的普遍假定，论证了口头自然和翻译质量的重要性，同时揭示了源边声音在语音特征、情感强调等方面对人类配音的影响，强调自动配音系统需要更好地保留这些语音特征和语义转换，同时要重视时长约束。

    Dec, 2022

  • 从语音到语音翻译到自动配音

    本文提出了一种基于神经网络的语音 - 语音翻译系统，实现了自动配音。实验结果表明自动配音的自然度得到了显著提升，包括多个技术创新点，如神经机器翻译、音频渲染、语音对位、语音合成等。

    Jan, 2020

  • Face-Dubbing++: 视频的口形同步，保留音频的翻译

    本文提出了一种基于神经网络的端到端系统，用于语音保留、唇面同步翻译视频，通过多个组件模型的组合，该系统能够在目标语言中生成保持语音强调、语音特征、原始扬声器面部视频的原始讲话者的视频，并在后续过程中使用人工智能技术进行语音识别、机器翻译、语音合成、语音转换和视频生成。经过实验，我们的系统能够有效地产生令人信服的视频，而且我们也分别对系统的单个组件进行了测试。

    Jun, 2022

  • 从配音系列中创建语音到语音语料库

    本研究提出了一种无监督方法来构建语音到语音语料库，并利用视频帧、语音识别、机器翻译和噪声帧去除算法在短片段层面上对齐源语言和目标语言，以生成一种平行语音语料库，并应用于短音频片段和长音频剪辑，效果表现稳健。

    Mar, 2022

  • VideoDubber: 视频配音的语音感知长度控制机器翻译

    该研究针对影视配音中原始语音和目标语音的对齐问题，提出一种机器翻译系统，通过考虑语音时长控制翻译长度，构建了真实世界情景下的测试集，实现了对自然长度的更好控制。

    Nov, 2022

  • 离屏幕自动配音的韵律对齐

    本研究扩展了原有的韵律对准模型，以适应更宽松的音视频同步要求，实验显示，相比先前的工作，本方法在字幕可见和不可见情况下的口译应用中均提供了更好的主观观感。

    Apr, 2022

  • ANIM-400K：一个大规模数据集用于视频自动配音的端到端系统

    我们介绍了 Anim-400K，这是一个包含超过 425K 对齐的日语和英语动画视频片段的全面数据集，支持各种与视频相关的任务，包括自动配音、同声翻译、引导式视频摘要和类型 / 主题 / 风格分类。我们的数据集已公开发布供研究目的使用。

    Jan, 2024

  • 面向异构来源实现逼真的视觉配音

    本文提出了一种简单而高效的两阶段框架，通过面部特征作为中间先验，从真实说话头生成的核心任务中区分出音频和图像的同步和生成，以更容易获取的杂类数据培训两个子网，以及允许对给定的说话头进行进一步的微调，从而实现高保真的 few-shot 视觉配音。

    Jan, 2022

  • 联合优化翻译和语音时序以改善自动配音中的等时间性

    本研究提出了一种自动配音的模型，通过同时进行翻译和语音持续时间的优化，实现生成的配音更好地匹配原始视频的时间轴，同时简化了整个系统的结构。

    Feb, 2023

  • 长篇同传口译的再翻译策略

    本研究针对如何实现长篇演讲等语音内容的同声传译问题，采用重新翻译的方式进行同步翻译，并提出了优化应用工具以加强稳定性的方法。研究结果表明，这种方法不仅延迟极低，翻译结果也具有高质量，能够轻易地进行多语言翻译。

    Dec, 2019