Mar, 2024

检测多模式机器翻译的具体视觉符号

PDF
TL;DR通过多模式机器翻译 (MMT) 系统中的视觉定位和屏蔽的挑战，我们提出了用于检测和选择与视觉有关的文本令牌进行屏蔽的新方法，包括自然语言处理 (NLP) 检测、目标检测检测和联合检测 - 验证技术。我们还引入了选择已检测到的令牌的新方法，包括最短 n 个令牌、最长 n 个令牌和所有已检测到的具体令牌。在合成的多模式数据集上利用 GRAM MMT 结构训练模型，通过基准模型显示了在翻译任务中性能的改进和对视觉上下文的改进使用。
发现论文，激发创造
  • 多模机器翻译中高效的物体级视觉上下文建模： 掩蔽无关物体有助于建立联系

    本文提出了一种基于物体级别视觉上下文建模的多模态机器翻译框架，采用对象掩模技术在可视模态下掩盖与源文本不相关的对象以实现翻译的视觉基础，同时引入了视觉加权翻译损失提高目标语言的视觉一致性，实验表明该模型优于现有的多模态机器翻译模型。

    Dec, 2020

  • 通过丰富视觉特征和视觉驱动的词向量提升多模态神经机器翻译

    本文探讨了在多模态神经机器翻译 (MNMT) 中使用密集标注模型进行视觉特征提取和词嵌入，以提高图像描述翻译模型的效果。

    Jul, 2017

  • 多模态机器翻译的视觉注意力基础神经模型

    我们介绍了一种新颖的多模式机器翻译模型，利用平行的视觉和文本信息。该模型通过视觉注意力锚定机制链接视觉和文本语义，并实现共享的视觉 - 语言嵌入和翻译器的联合优化，取得了在 Multi30K 和 Ambiguous COCO 数据集上有竞争力的最新结果。我们还收集了一个新的多语言多模态产品描述数据集来模拟真实的国际在线购物场景。在这个数据集上，我们的视觉注意力锚定模型以大幅度优于其他方法的表现脱颖而出。

    Aug, 2018

  • 多模式机器翻译模型的合理性检查：关注视觉确保准确性

    本文研究了多模式机器翻译（MMT）系统在存在视觉上下文时比纯文本神经机器翻译（NMT）系统表现更好，并探讨了视觉数据集对于 MMT 模型的训练和评估的重要性，表明 MMT 架构相关的有效研究目前受到合适数据集的限制，未来的 MMT 数据集必须经过仔细考虑。

    Sep, 2021

  • 利用图像解决歧义问题：改进的多模态机器翻译和对比评估

    该论文提出了一种基于机器翻译、多模态、神经适配器和引导自注意机制的新型多模态机器翻译方法，同时还发布了 CoMMuTE 数据集，并在该数据集上取得了显著的性能提升。

    Dec, 2022

  • 从信息论的角度增强多模态神经机器翻译的视觉意识

    本文旨在从信息论角度提高多模式机器翻译的视觉感知能力，通过将信息量化为源特定信息和目标特定信息，并提出两种目标优化方法以更好地利用视觉信号来解决输入退化的问题。实验结果表明，我们的方法可以显著提高 MMT 模型的视觉感知能力，并在两个数据集上取得了优秀的结果。

    Oct, 2022

  • LVP-M3: 多语言多模机器翻译的语言感知可视提示

    本文提出了跨多种语言的多模式机器翻译 (Multilingual MMT) 任务，通过提供多语言的共享语义空间来解决为每对语言训练单独模型的高昂成本问题；通过建立两个新的多语言 MMT 基准数据集，并提出了一种基于视觉提示的有效基准模型 LVP-M3，该模型包括三个阶段（token 编码、语言感知的视觉提示生成和语言翻译），实验结果表明该方法在多语言 MMT 中的有效性。

    Oct, 2022

  • 基于短语级通用视觉表征的神经机器翻译

    对比于其它多模式机器翻译 (MMT) 方法，我们提出了一种短语级别检索的 MMT 方法，从已有的文本 - 图像数据集中获得源输入的视觉信息，有利于缓解输入限制和数据稀疏的问题，并且通过条件变分自编码器可以更好地过滤多余的视觉信息和仅保留和短语相关的视觉信息。这个方法在多个 MMT 数据集上实验结果表明显著优于强基线模型，尤其是在文本语境有限的情况下。

    Mar, 2022

  • 基于伪可视中心词的无监督多模态神经机器翻译

    本研究探讨如何利用视觉内容实现无监督多模态机器翻译领域的降歧和提升潜空间的对齐度。该模型采用多模态反向翻译，具备伪视觉枢轴功能，实现了多语言视觉 - 语义嵌入空间学习和视觉轴描述补充弱监督。实验证明该模型显著超越了最先进的方法，并能在测试时很好地进行泛化。

    May, 2020

  • 通过视觉问答对将探测信号融入多模态机器翻译

    本研究论文通过深入研究多模式机器翻译（MMT），探讨了 MMT 系统在源文本完整时对视觉信息的敏感性降低的现象，并提出了一种新的方法来生成并行的视觉问答（VQA）风格对，以促进更强大的跨模态交互。使用大型语言模型（LLMs），将 MMT 中的探测信号显式建模为 VQA 风格数据，创建了 Multi30K-VQA 数据集，并引入了 MMT-VQA 多任务学习框架，将来自数据集的显式探测信号纳入 MMT 训练过程。在两个广泛使用的基准测试中验证了该新方法的有效性。本文提供的代码和数据可在 https://github.com/libeineu/MMT-VQA 获取。

    Oct, 2023