多模翻译的隐变量模型

ACLNov, 2018

Latent Variable Model for Multi-modal Translation

Iacer Calixto, Miguel Rios, Wilker Aziz

TL;DR本研究提出一种多模态神经机器翻译模型，通过潜在变量模型来建模视觉和文本特征之间的交互，预测图像特征和提高翻译性能，可以在训练阶段利用视觉和文本输入，而在测试阶段不需要图像输入，通过预测图像特征等优化，同时利用合成数据等附加训练方式进一步提高翻译性能。

Abstract

In this work, we propose to model the interaction between visual and textual features for multi-modal neural machine translation (MMT) through a latent variable model. This latent variable can be seen as a multi-modal stochastic embedding of an image and its description in a foreign la

multi-modal neural machine translation latent variable model visual and textual inputs image features synthetic data

发现论文，激发创造

条件变分自编码器用于神经机器翻译

探讨使用潜变量模型实现神经机器翻译中的条件文本生成性能，通过引入连续潜变量来增强编码器 - 解码器 NMT 范例，利用 Inference Network 中的共同关注机制来扩展该模型，使用不同方法试图缓解后验崩溃问题，并且探究学习潜空间的能力，该模型能有效地优化翻译模型。

Dec, 2018

具有图像和文本的潜在语义的神经机器翻译

研究使用潜变量从文本和图像提取语义信息来提高基于注意力机制的神经机器翻译效果，实验结果表明此方法在英德翻译任务中优于基线模型。

Nov, 2016

基于短语级通用视觉表征的神经机器翻译

对比于其它多模式机器翻译 (MMT) 方法，我们提出了一种短语级别检索的 MMT 方法，从已有的文本 - 图像数据集中获得源输入的视觉信息，有利于缓解输入限制和数据稀疏的问题，并且通过条件变分自编码器可以更好地过滤多余的视觉信息和仅保留和短语相关的视觉信息。这个方法在多个 MMT 数据集上实验结果表明显著优于强基线模型，尤其是在文本语境有限的情况下。

Mar, 2022

基于伪可视中心词的无监督多模态神经机器翻译

本研究探讨如何利用视觉内容实现无监督多模态机器翻译领域的降歧和提升潜空间的对齐度。该模型采用多模态反向翻译，具备伪视觉枢轴功能，实现了多语言视觉 - 语义嵌入空间学习和视觉轴描述补充弱监督。实验证明该模型显著超越了最先进的方法，并能在测试时很好地进行泛化。

May, 2020

LVP-M3: 多语言多模机器翻译的语言感知可视提示

本文提出了跨多种语言的多模式机器翻译 (Multilingual MMT) 任务，通过提供多语言的共享语义空间来解决为每对语言训练单独模型的高昂成本问题；通过建立两个新的多语言 MMT 基准数据集，并提出了一种基于视觉提示的有效基准模型 LVP-M3，该模型包括三个阶段（token 编码、语言感知的视觉提示生成和语言翻译），实验结果表明该方法在多语言 MMT 中的有效性。

Oct, 2022

多模态自回归建模基于视觉单词

成功进行多模态自回归建模，并首次提出了视觉词概念，将视觉特征映射到 LLMs 词汇的概率分布，为视觉建模提供了监督信息。通过对 5 个 VQA 任务和 4 个基准工具包的实验结果和消融研究的验证，证明了我们提出方法的强大性能。

Mar, 2024

多模式图像到图像翻译

利用条件生成模型和低维潜在向量，通过鼓励输出和潜在编码间的双射一致性的方法解决图像转换中一对多的映射问题，并产生更丰富多样的结果。

Nov, 2017

多模式机器翻译模型的合理性检查：关注视觉确保准确性

本文研究了多模式机器翻译（MMT）系统在存在视觉上下文时比纯文本神经机器翻译（NMT）系统表现更好，并探讨了视觉数据集对于 MMT 模型的训练和评估的重要性，表明 MMT 架构相关的有效研究目前受到合适数据集的限制，未来的 MMT 数据集必须经过仔细考虑。

Sep, 2021

利用多模态语言模型生成图像

该论文提出了一种方法，通过将文本形式的大型语言模型嵌入图像编码器和解码器模型中，利用它们的嵌入空间之间的映射来融合两者，从而实现多模态的图像检索、新颖图像生成和多模态对话，同时还能生成并处理图像和文本输入，比非基于 LLM 的模型在一些基于文本生成图像任务方面表现更好。

May, 2023

分析多模态大型语言模型的视觉感知

本研究提出了一种新的方法来增强多模式大型语言模型的可解释性，通过专注于图像嵌入组件。我们将开放世界定位模型与多模式大型语言模型相结合，从而创建一个能够同时产生文本和物体定位输出的新架构。提出的架构极大地促进了可解释性，使我们能够设计一种新的显著性图以解释任何输出标记，识别模型幻觉，并通过语义对抗扰动评估模型的偏见。

May, 2024