利用目标因素和辅助计数器提高等时机器翻译

May, 2023

利用目标因素和辅助计数器提高等时机器翻译

Improving Isochronous Machine Translation with Target Factors and Auxiliary Counters

Proyag Pal, Brian Thompson, Yogesh Virkar, Prashant Mathur, Alexandra Chronopoulou...

TL;DR本文介绍了使用 Transformer 模型中的目标因素来预测目标语言音素序列和持续时间的方法，辅助计数器可帮助解码器在生成目标音素时跟踪时序信息，该模型改进了翻译质量和等时性。

Abstract

To translate speech for automatic dubbing, machine translation needs to be isochronous, i.e. translated speech needs to be aligned with the source in terms of speech durations. We introduce target factors in a transform

speech translation automatic dubbing transformer model duration prediction isochrony

发现论文，激发创造

联合优化翻译和语音时序以改善自动配音中的等时间性

本研究提出了一种自动配音的模型，通过同时进行翻译和语音持续时间的优化，实现生成的配音更好地匹配原始视频的时间轴，同时简化了整个系统的结构。

Feb, 2023

通过利用辅助语音和文本数据来改善端到端语音翻译

本文提出了一种将文本编码器引入预训练端到端语音翻译系统的方法，该方法可以提高适应一种模态到另一种模态的能力，特别是在源语言文本数据丰富的情况下，使得语音翻译模型可以从无标签和有标签数据中学习，并且还提出了一种去噪文本编码器的方法。在 MuST-C En-De、En-Fr 和 LibriSpeech En-Fr 任务上，该系统创造了新的最新技术。

Dec, 2022

VideoDubber: 视频配音的语音感知长度控制机器翻译

该研究针对影视配音中原始语音和目标语音的对齐问题，提出一种机器翻译系统，通过考虑语音时长控制翻译长度，构建了真实世界情景下的测试集，实现了对自然长度的更好控制。

Nov, 2022

具有局部约束的源目标自注意力

本论文提出了一种基于 transformer 模型的新型神经机器翻译架构，采用自注意力机制加局部约束对 attention 接受场进行改进，实现了在多个翻译基准数据集上的最新 BLEU 最优结果。

May, 2019

用于同时机器翻译的高效等待 k 模型

研究了使用 Wait-k 解码器在资源匮乏的情况下进行同声传译的行为，同时通过使用单向编码器和训练多个 K 值来提高模型的训练，并探讨了 2D 卷积体系结构在同声翻译方面的应用。

May, 2020

利用同步的流式 ASR 辅助的直接同声传译

本文提出一种新型的语音翻译范例，通过使用两个分离但同步的解码器，一个用于流式 ASR, 一个用于直接语音翻译，并通过 ASR 生成的中间结果指导直接语音翻译，实现了流畅度更高的翻译质量。

Jun, 2021

无需预测的同步机器翻译训练

本文提出了一种将翻译过程分解为单调翻译和重新排序步骤的新框架，并通过辅助排序网络模型来模拟其中的重新排序步骤，从而提高了同时翻译模型的翻译效果。

Jan, 2022

基于音素计数比奖励强化学习的等距神经机器翻译

使用递归学习来优化对齐源语言和目标语言句对中的音素数目，以提高自动视频配音的声音和画面同步性能。

Mar, 2024

TransVIP: 保留声音和等时性的语音到语音翻译系统

该研究介绍了一种名为 TransVIP 的新模型框架，该模型通过级联方式利用多样的数据集，在维持发言者的声音特征和等时性的同时实现端到端推理，适用于视频配音等场景，并在法英语言对上的实验中表现出优于当前最先进的语音到语音翻译模型的性能。

May, 2024

自动字幕直接语音翻译

本论文提出了一种直接自动生成目标语言字幕及相应时间戳的自动字幕模型，与现有的级联模型相比，在提供高质量字幕的同时也具有更高的一致性和维护单一模型的优点。

Sep, 2022