语音到语音翻译系统需要克服适用于对话用途时可能会丧失言者意图和立场微妙细节的问题,通过开发一个数据收集协议并研究跨语言韵律差异,我们提出了一种简单的韵律差异度量方法,并基于此对三个基本模型的实用性进行了评估,结果可指导未来跨语言韵律以及有效韵律传递的语音到语音翻译系统的设计。
Jul, 2023
该研究开发了第一个人类判断话语对之间的语用相似性的人类评价数据集,并在英语和西班牙语上获得了较高的平均评委相关性,从而为训练语音合成器、评估机器翻译和评估学习者表现提供了自动话语相似性度量的基础。
Mar, 2024
本文提出一种新方法,自动构建对话机器翻译的平行话语语料库,经实验表明,采用该方法可以显著提高翻译质量,同时公开了大约 10 万条已经手动标注了发言者和对话边界的平行话语数据。
May, 2016
本文提出了一种新的机器翻译数据集,利用 GIF 作为中介,从单语注释器中收集平行句子,从而降低了需要寻找、训练双语人员的成本,并经过内在和外在评估,发现使用 GIFs 收集的句子确实具有更高的质量。
Jun, 2021
本文旨在通过引入一个新构建的日英商务会话平行语料库,提高会话文本的机器翻译质量,并分析了该语料库,列举了自动翻译的具有挑战性的实例。同时,本文还试图将语料库添加到机器翻译训练中,并展示了基于该语料库训练的系统的优势。
Aug, 2020
本研究提出了一种无监督方法来构建语音到语音语料库,并利用视频帧、语音识别、机器翻译和噪声帧去除算法在短片段层面上对齐源语言和目标语言,以生成一种平行语音语料库,并应用于短音频片段和长音频剪辑,效果表现稳健。
Mar, 2022
提供了一种双语平行人对人推荐对话数据集并通过采用严格的质量控制程序进行了注释, 实验结果表明,使用额外的英文数据对汉语对话推荐有性能提升作用。
Sep, 2021
我们提供了一个多语言 TEDx 语料库,支持语音识别和语音翻译的研究,可以建立在许多非英语源语言上。这个语料库是一个来自 TEDx 演讲的音频记录集合,提供了 8 个源语言,我们将转录分割成句子,并将它们与源语言音频和目标语言翻译对齐。此外,我们提供基线模型,包括多语种模型,以提高低资源语种的翻译性能。
Feb, 2021
本文介绍了使用 LibriSpeech 增强现有单语语料库的方法,建立起一种包含源语言中的语音与目标语言中的文本的大型开放式平行语料库,并给出了相应的处理细节和手动评估结果,该平行语料库可以用于直接语音翻译或其他口语翻译实验。
Feb, 2018
本文介绍了英语翻译,适用于部分通话家庭普通话数据和香港科技大学普通话电话语音数据的语音翻译任务。研究表明,将通用翻译模型微调为普通话 - 英语对话电话语音训练集可以使目标领域 BLEU 提高 8 个百分点以上,突显了配对训练数据的重要性。