Apr, 2020

面向多模态同时神经机器翻译

PDF
TL;DR提出了一种多模式神经机器翻译方法，即多模式同时翻译 (MSNMT)，能够在翻译过程中利用视频信息和实现实时多语言理解。实验证实，该方法可显著提高翻译效率，特别是在低延迟情况下，比单纯文本的模型更加优秀。此外，我们通过对 MSNMT 的对抗性评估研究发现了视频信息在解码过程中的重要性，并分析了源语言和目标语言之间不同的单词顺序对翻译结果的影响。
simultaneous translationmultimodal neural machine translationvisual informationreal-time understandingmulti30k dataset
发现论文，激发创造
  • 基于神经机器翻译的实时翻译学习

    本论文提出了一种基于神经机器翻译的实时翻译框架，通过代理决策来实现翻译输出实时化并且具有可控的翻译质量与延迟，通过在两种语言对上的实验结果表明了该方法在定量与定性方面的有效性。

    Oct, 2016

  • 利用视觉上下文的同时机器翻译

    本文旨在研究如何利用视觉信息来弥补缺失的源文本背景，评估不同的多模态方法和视觉特征对最先进的同时机器翻译 (SiMT) 框架的影响。结果表明，视觉背景是有帮助的，基于明确的物体区域信息的可视化模型优于常用的全局特征，在低延迟情境下的表现可提高 3 个 BLEU 分数。我们的定性分析展示，只有多模态系统才能正常翻译英语到标记性别的语言，并处理英语和法语之间的形容词和名词词序等差异。

    Sep, 2020

  • 无监督多模态神经机器翻译

    本研究提出了一种基于多模态机器翻译框架的无监督神经机器翻译方法，通过图像识别加强双向多模态翻译的学习效果，在 Multi30K 数据集上与传统基于文本的神经机器翻译相比，本方法有更好的实验结果。

    Nov, 2018

  • 神经机器翻译能否进行同声传译？

    本文探讨了注意力机制的神经机器翻译在同时翻译中的应用，并引入一种新的解码算法 —— 同时贪心解码，可在接收到完整源句之前开始翻译。该方法与以往同时翻译的研究不同之处在于，它是基于分割和翻译同时进行的，以最大化翻译质量，并且每个片段的翻译都强烈依赖于之前所有片段。这项研究是基于神经机器翻译建立完整的同时翻译系统的第一步。

    Jun, 2016

  • 通过视觉和语音进行多模式机器翻译

    本文综述了多模式机器翻译的重要数据资源、评估活动、端到端及管道方法的最新成果，以及在绩效评估方面面临的挑战，并讨论了这些领域未来研究的方向。

    Nov, 2019

  • 利用多模态增强学习进行同时机器翻译

    本研究探索了两个主要概念，即使用自适应策略来学习高翻译质量和低延迟之间的平衡，以及使用可用于生成文本输入之前的附加（视觉）上下文信息来支持该过程，提出了一种多模式方法来进行同时机器翻译，并采用强化学习策略，应用于代理程序和环境中集成视觉和文本信息，研究了不同类型的视觉信息和集成策略对同时翻译模型质量和延迟的影响，并证明了视觉线索可以在保持延迟低的同时提高质量。

    Feb, 2021

  • 无需预测的同步机器翻译训练

    本文提出了一种将翻译过程分解为单调翻译和重新排序步骤的新框架，并通过辅助排序网络模型来模拟其中的重新排序步骤，从而提高了同时翻译模型的翻译效果。

    Jan, 2022

  • 用于同时多模机器翻译的监督式视觉注意力

    本文提出基于 Transformer 的多模式机器翻译 (MMT) 与视觉注意力机制相结合的模型，并使用带标签的短语 - 区域对齐的辅助信号指导其视觉注意力机制，实现目前最佳 BLEU 和 METEOR 分数的提升。

    Jan, 2022

  • 基于伪可视中心词的无监督多模态神经机器翻译

    本研究探讨如何利用视觉内容实现无监督多模态机器翻译领域的降歧和提升潜空间的对齐度。该模型采用多模态反向翻译，具备伪视觉枢轴功能，实现了多语言视觉 - 语义嵌入空间学习和视觉轴描述补充弱监督。实验证明该模型显著超越了最先进的方法，并能在测试时很好地进行泛化。

    May, 2020

  • 多模机器翻译中视觉语境需要的经验证实

    通过设计可解释的多模态翻译模型，我们发现多模态信息对于机器翻译的提升并不显著，相反是由于正则化效应带来的，这一发现强调了可解释性在未来研究中的重要性及其作用。

    May, 2021