Feb, 2023

联合优化翻译和语音时序以改善自动配音中的等时间性

PDF
TL;DR本研究提出了一种自动配音的模型，通过同时进行翻译和语音持续时间的优化，实现生成的配音更好地匹配原始视频的时间轴，同时简化了整个系统的结构。
automatic dubbingtranslationspeech durationmodel trainingtiming optimization
发现论文，激发创造
  • 离屏幕自动配音的韵律对齐

    本研究扩展了原有的韵律对准模型，以适应更宽松的音视频同步要求，实验显示，相比先前的工作，本方法在字幕可见和不可见情况下的口译应用中均提供了更好的主观观感。

    Apr, 2022

  • 从语音到语音翻译到自动配音

    本文提出了一种基于神经网络的语音 - 语音翻译系统，实现了自动配音。实验结果表明自动配音的自然度得到了显著提升，包括多个技术创新点，如神经机器翻译、音频渲染、语音对位、语音合成等。

    Jan, 2020

  • VideoDubber: 视频配音的语音感知长度控制机器翻译

    该研究针对影视配音中原始语音和目标语音的对齐问题，提出一种机器翻译系统，通过考虑语音时长控制翻译长度，构建了真实世界情景下的测试集，实现了对自然长度的更好控制。

    Nov, 2022

  • 自动字幕直接语音翻译

    本论文提出了一种直接自动生成目标语言字幕及相应时间戳的自动字幕模型，与现有的级联模型相比，在提供高质量字幕的同时也具有更高的一致性和维护单一模型的优点。

    Sep, 2022

  • 机器配音的韵律短语对齐

    本文探讨了机器配音中的特定问题，方法是利用神经机器翻译中的注意机制找到可能的短语并将其用于合成，记录了与专业配音翻译的相似语速比率，并改善了长对话行的唇同步问题。

    Aug, 2019

  • 实际配音：人类本土化的大规模研究及对自动补音的启示

    本研究探讨了人类如何将视频内容从一种语言翻译成另一种语言的配音任务，利用了 319.57 小时的录像数据，结果挑战了一些关于人类配音和自动配音的普遍假定，论证了口头自然和翻译质量的重要性，同时揭示了源边声音在语音特征、情感强调等方面对人类配音的影响，强调自动配音系统需要更好地保留这些语音特征和语义转换，同时要重视时长约束。

    Dec, 2022

  • 利用目标因素和辅助计数器提高等时机器翻译

    本文介绍了使用 Transformer 模型中的目标因素来预测目标语言音素序列和持续时间的方法，辅助计数器可帮助解码器在生成目标音素时跟踪时序信息，该模型改进了翻译质量和等时性。

    May, 2023

  • 等距 MT: 用于自动配音的神经机器翻译

    本论文提出了一种名为 “同构机器翻译” 的自学习方法，使得变压器模型直接学习生成与源文本长度接近的输出，而不需要产生多个假设或任何辅助排名函数，并在四种语言对上进行了测试，结果表明该方法优于文献中提出的更复杂的方法。

    Dec, 2021

  • 神经配音员：按照剧本为视频配音

    本文提出了一种利用神经网络模型实现视频配音的方法，该模型能够根据视频中的口型运动控制生成音频的音调，并且针对多人场景还开发了一种基于图像的扬声器嵌入模块，实现了在说话者面部表示下根据不同的人物角色生成不同的音调，经实验证明即便是在多人场景下也能达到与当前最优文本转语音模型相当的音频质量和音频与视频的时间同步表现。

    Oct, 2021

  • Face-Dubbing++: 视频的口形同步，保留音频的翻译

    本文提出了一种基于神经网络的端到端系统，用于语音保留、唇面同步翻译视频，通过多个组件模型的组合，该系统能够在目标语言中生成保持语音强调、语音特征、原始扬声器面部视频的原始讲话者的视频，并在后续过程中使用人工智能技术进行语音识别、机器翻译、语音合成、语音转换和视频生成。经过实验，我们的系统能够有效地产生令人信服的视频，而且我们也分别对系统的单个组件进行了测试。

    Jun, 2022