本研究提出了一个基于知识增强的少样本学习（few-shot learning）框架，利用预训练语言模型和自动构建的视觉关系知识图谱获取了文本知识和视觉关系知识，从而提高了少样本学习的实用性和性能。与现有最先进模型相比，在常用的 Visual Genome 数据集的三个基准测试中，本方法的性能大幅超越了现有最先进模型。

Mar, 2023

本研究提出了 DocReL，一种文本关系表示学习框架，其中包含一种新的对比学习任务 Relational Consistency Modeling（RCM），并利用了上下文信息来改进视觉丰富文档中关系理解，如表结构识别，关键信息提取和阅读顺序检测。

May, 2022

我们提出了一种首个预训练方法，用于少样本谓词分类，无需任何带注释的关系；我们构建了少样本训练集，并在 VG200 和 VRD 数据集上展示了我们模型超过基准的定量实验；最后，我们通过进行各种定性实验来解释模型的决策。

Nov, 2023

通过对 FUNSD 和 CORD 数据集上进行的广泛剖析研究及对 LayoutLMv3 的初始化，我们提出了一个模型，用于在视觉丰富的文档中进行关系抽取，其结果超过了当前行业的最佳效果，且没有特定的预训练任务和较少的参数。

Apr, 2024

本文介绍了一种新的建模视觉关系方法，设计了强大而灵活的视觉特征，提出了一种弱监督判别式聚类模型来从仅具有图像级标签的数据中学习关系，并引入了一个新的具有挑战性的数据集（UnRel）和详尽的注释，用于准备评估视觉关系检索。实验结果表明，本文提出的模型在视觉关系数据集上取得了显著的提高，并在新引入的 UnRel 数据集上验证了该观察结果的有效性。

Jul, 2017

本文提出了一种新的多原型嵌入网络模型，旨在共同提取关系三元组的组成，即实体对和相应的关系，通过设计一种混合的原型学习机制来连接文本和关于实体和关系的知识，从而注入实体和关系之间的隐式相关性，并提出原型感知正则化来学习更具代表性的原型，实验结果表明，该方法可以提高少样本三元组提取的性能。

Oct, 2020

本论文提出了一种新的基于深度学习的架构 —— 多模态注意力翻译嵌入模型，该模型使用多模态关注机制驱动每个分支的视觉特征，并在常用的 VRD 数据集上的实验表明，该方法明显优于其他相关方法。

Feb, 2019

通过构建一个名为 VrR-VG 的新场景图数据集，我们提出了一种通过修剪视觉不相关的关系来自动挖掘更有价值关系的新方法，并通过考虑实例、属性和关系来学习关系感知表征，从而系统性地提高了图像字幕和视觉问题回答的性能。

Feb, 2019

本研究提出了一种自然语言引导的框架来解决视觉关系检测任务中对象对之间关系分类的问题，并使用双向循环神经网络以及语义连接来预测参与关系的对象之间的语义连接。该方法在 Visual Relationship Detection 和 Visual Genome 数据集上取得了最佳状态，特别是在未预测关系的情况下。

Nov, 2017

本研究提出 Visual Spatial Reasoning（VSR）数据集，这是包含超过 10k 已标注的英文自然文本图像对和 66 种空间关系的数据集，研究表明当前视觉语言模型只能达到约 70％的准确率，无法识别有关物体朝向的关系。

Apr, 2022