我们介绍了一种新颖的多模式机器翻译模型，利用平行的视觉和文本信息。该模型通过视觉注意力锚定机制链接视觉和文本语义，并实现共享的视觉 - 语言嵌入和翻译器的联合优化，取得了在 Multi30K 和 Ambiguous COCO 数据集上有竞争力的最新结果。我们还收集了一个新的多语言多模态产品描述数据集来模拟真实的国际在线购物场景。在这个数据集上，我们的视觉注意力锚定模型以大幅度优于其他方法的表现脱颖而出。

Aug, 2018

本文探讨了语言驱动的视觉推理的问题，提出了一种动态图注意力网络来执行多步推理​​，并针对复杂的语言表达能力生成可解释的视觉证据。实验结果表明，所提出的方法不仅可以显着超过三个常见基准数据集上的所有现有最新算法，而且还能生成可解释的视觉证据来逐步地定位所描述的物体。

Sep, 2019

本文提出了一种新的基于关联关注记忆的注意力机制，用于解决视觉对话场景下的模糊引用问题，通过在一个新的合成数据集上的实验验证，表明该模型在解决视觉引用问题的重要场景下，比现有技术水平显著提高了 16%；此外，该模型在视觉对话数据集上的表现也优于原有基线模型，而且参数数量明显更少。

Sep, 2017

本研究提出了一种统一的注意力模型，能够同时捕捉多模态特征的内部和跨模态之间的相互作用，并输出相应的注意力表示。通过堆叠这样的统一注意力块，我们获得了深度多模态统一注意力网络 (MUAN)，可以无缝地应用于视觉问答 (VQA) 和视觉定位任务。通过在两个 VQA 数据集和三个视觉定位数据集上评估 MUAN 模型，结果表明 MUAN 在两个任务上都实现了顶级性能。

Aug, 2019

本文通过引入 Dual Attention Networks （DAN）模型，提出了一种计算机视觉任务解决方法，用于对话历史和图像特征的信息匹配，通过考虑上下文信息和自我注意力机制的学习，解决了视觉指代消解问题，并在多个数据集上得到了显著的表现提升。

Feb, 2019

提出双重关注网络框架（Dual Attention Networks），应用于视觉和文本场景的多模态推理、比对任务，在 Visual Question Answering 和图片 - 文本比对任务中取得最新的优异表现。

Nov, 2016

提出使用基于注意力模型的深度循环神经网络，加上强化学习训练，以识别并定位输入图像中的多个目标。通过在谷歌街景图像中转录房屋编号序列的挑战性任务上的测试，表明该模型精度高于现有最先进的卷积神经网络，且使用的参数和计算量较少。

Dec, 2014

基于注意力机制的深度神经网络在物体检测任务中的应用

Feb, 2017

本文提出了一个双重注意力网络模型，该模型可以同时识别人类以及物体之间的动作，实现了物体及动作的同时识别，并在 Something-Something 数据集上展现了非常好的性能。除此之外，此模型还能够进行弱空间时间定位和可供性分割，可以识别物体的不同部分相互之间的交互。

Sep, 2019

本文提出了一种注意力机制下的嵌入模型，通过利用多模态表示来关联图像提议与符号并从中有效地汇集信息。我们应用多次多模态注意力机制来迭代改进注意力映射，从而提高精确度，并采用最大化边缘损失函数进行端到端学习，证明该模型在广告数据集上的效果优于其他基线模型。

Jul, 2018