提出一种基于端到端可训练神经网络架构，用于在 3D 环境中执行自然语言指令的任务导向语言接地问题，并使用带门控的注意力机制来组合图像和文本表示，并学习执行任务的策略。在一个新的基于 3D 游戏引擎的环境中展示了该模型在未见过的指令和环境下的有效性。

Jun, 2017

该研究针对弱监督概念下的图片描述问题，提出了一种基于分布式注意力机制和局部连接信息的部分地基准技术，可以帮助生成最佳的图片描述。

Aug, 2021

本文介绍了一种名为 AttBalance 的新框架，通过优化语言相关区域内的视觉特征行为，以提高视觉定位任务的性能，并在四个不同基准测试上对五种不同模型进行了评估和持续改进，进而在 QRNet 上实现了最新的表现水平。

Jul, 2024

本文介绍了一种利用注意力机制生成对抗网络的方法，能够通过自然语言描述中的相关单词对图像的不同子区域进行精细的细节合成，并提出了一种深度的注意力多模式相似度模型，用于训练这个生成器。实验结果显示，在两个数据集上，这种注意力机制生成对抗网络都优于先前的最先进方法。

Nov, 2017

该研究旨在探讨如何通过语言理解来实现自动驾驶汽车与人之间的交互，通过对多模态信息的自适应融合，提高语义理解准确度，改进对自然语言命令的视觉场景定位能力。实验结果表明，该模型优于目前现有的技术水平。

Mar, 2022

我们介绍了一种新颖的多模式机器翻译模型，利用平行的视觉和文本信息。该模型通过视觉注意力锚定机制链接视觉和文本语义，并实现共享的视觉 - 语言嵌入和翻译器的联合优化，取得了在 Multi30K 和 Ambiguous COCO 数据集上有竞争力的最新结果。我们还收集了一个新的多语言多模态产品描述数据集来模拟真实的国际在线购物场景。在这个数据集上，我们的视觉注意力锚定模型以大幅度优于其他方法的表现脱颖而出。

Aug, 2018

提出了一种名为 “Sentence Attention Block” 的新型建筑模块，通过明确建模图像特征图与句子嵌入之间的相互依赖关系，重新校准了通道级图像特征图，以过滤基于句子嵌入的不相关特征图通道，进而实现了目前最先进准确度的提高。

Sep, 2023

该论文提出了一种基于 Transformer 编码器 - 解码器的视觉 grounding 方法，通过在不损伤位置定位能力的前提下，在文本描述的指导下学习语义鉴别的视觉特征，具有强大的文本 - 视觉语境语义捕捉能力。实验结果表明，在保持快速推理速度的同时，该方法在五个基准上优于现有的提案 - free 方法。

May, 2021

本研究旨在通过多任务学习方式训练一个网络实现视觉注意力，使用半监督学习方式生成前 / 背景分割标签，进而训练目标检测模型，利用分割地图实现自我注意机制，获得在交通监控领域两个数据集上显著的 mAP 改进，UA-DETRAC 和 UAVDT 数据集上均实现了最先进的结果。

Feb, 2020

在自动驾驶车辆领域中，准确识别指挥者意图并在视觉环境中执行语言指令是一个巨大的挑战。本文介绍了一个复杂的编码器 - 解码器框架，用于解决自动驾驶车辆中的视觉 grounding 问题。我们的 Context-Aware Visual Grounding (CAVG) 模型是一个先进的系统，将文本、图像、上下文和跨模态的五个核心编码器集成到一个多模态解码器中。该模型通过实施多头跨模态注意力机制和区域特定动态 (RSD) 层，能够高效处理和解释一系列跨模态输入，从而全面理解口头指令和相应的视觉场景之间的相关性。在真实世界基准数据集 Talk2Car 上的实证评估表明，CAVG 在预测准确性和操作效率方面树立了新的标准。值得注意的是，即使在完整数据集的 50% 到 75% 的有限训练数据的情况下，该模型表现出色。这一特点凸显了它在实际自动驾驶应用中的效果和潜力。此外，CAVG 在挑战性场景中展现出了卓越的强健性和适应性，包括长文本命令解释、低光条件、模糊的命令上下文、恶劣天气条件和人口密集的城市环境。该模型的代码可在我们的 Github 上找到。

Dec, 2023