Sep, 2023
通过利用目标语言上下文提升端到端会话语音翻译
Enhancing End-to-End Conversational Speech Translation Through Target Language Context Utilization
Amir Hussein, Brian Yan, Antonios Anastasopoulos, Shinji Watanabe, Sanjeev Khudanpur
TL;DR在这篇研究中,我们介绍了如何在端到端语音翻译中引入目标语言上下文,以增强连贯性并克服扩展音频片段的内存限制。此外,我们还提出了上下文丢弃以确保对上下文缺失的鲁棒性,并通过添加说话者信息进一步提高性能。我们的上下文化端到端语音翻译方法优于孤立的基于句子的端到端语音翻译方法。最后,我们证明在对话性语音中,上下文信息主要有助于捕捉上下文风格,并解决指代和命名实体问题。