通过引入 “关系字幕” 任务，使用多任务三流网络（MTTSNet）实现 POS 标签指导图像说明的正确顺序，从而提高图像理解能力，相应地，生成更多样化、更丰富的信息表达。

Mar, 2019

本文提出 MORE，一种多阶关系挖掘模型，通过逐步建立空间布局图卷积和基于对象中心的三元组注意力图来捕捉和利用三维场景中的复杂关系，以生成更全面和描述性的标题，证明了 MORE 和其组件的有效性，并超过了现有的最新方法。

Mar, 2022

本文提出了基于 Transformer 双重关系学习框架的方法，通过构建结构关系图和语义关系图，利用显式的语义感知约束来动态地建模图像对象的语义含义，并将学习到的结构关系合并到语义图中，为多对象识别任务提供了一种新的方法。

Oct, 2021

本文提出了一个基于关系嵌入的表示重建网络（R3Net）来明确区分真实变化和大量混乱和无关变化，并引入了外部语法骨架预测器（SSP）来增强变化定位和字幕生成之间的语义交互，实验结果表明，所提出的方法在两个公共数据集上达到了最先进的水平。

Oct, 2021

本文提出了一种新的图像字幕架构，通过构建以字幕为导向的视觉关系图以及利用弱监督多实例学习引入有益的归纳偏差来增强图像表示和字幕生成，实现多模态问题解决和优化。在 MSCOCO 数据集上进行广泛实验，证明该框架在多种评估指标下取得了业内最优表现。

Jun, 2020

本研究中，我们通过引入场景图表示图像标题，利用图注意力网络构建了一个双编码器的图像 - 文本匹配模型，能高效地编码物体 - 属性和物体 - 物体的语义关系，通过提供对图神经网络的强关系归纳偏置进行学习。我们的模型在两个重要的图像 - 文本检索基准数据集 Flickr30K 和 MSCOCO 上进行实验，证明了相对于计算成本高的交叉注意方法，CORA 在召回得分上具有优势，同时实现了双编码器的快速计算速度。

Jun, 2024

通过设计一个名为 COllaborative three-Stream Transformers（COST）的新框架，来在视频字幕任务中对句子的主语、谓语和宾语进行特殊关注，通过三个分支的 transformers 以及交叉粒度的注意力模块对不同粒度的视觉 - 语言交互进行建模和对齐，以获得准确的字幕预测。实验证明，COST 方法在视频字幕领域中表现优于现有的方法。

Sep, 2023

本研究提出了一种新颖的基于注意力机制的关系网络，其包含两个关键模块和一个目标检测主干以实现场景图自动生成，并在 Visual Genome 数据集上进行了实验验证其有效性和优越性。

Nov, 2018

该研究利用编码器 - 解码器结构和关系注意力等特征，提出了一种新的在两个图像之间生成关系说明的模型，并透过对新收集及公开的数据集进行实验，证明其比现有的各种基准线和方法都要好。

Jun, 2019

本论文提出了一种新的基于深度学习的架构 —— 多模态注意力翻译嵌入模型，该模型使用多模态关注机制驱动每个分支的视觉特征，并在常用的 VRD 数据集上的实验表明，该方法明显优于其他相关方法。

Feb, 2019