现有文献观察到当前的文本到图像系统不能准确反映物体之间的显式空间关系，我们假设这是因为训练这些模型的图像标题很少包含显式空间关系。为此，我们提出了一种自动方法，给定现有图像生成包含 14 种显式空间关系的合成标题。我们引入了 Spatial Relation for Generation (SR4G) 数据集，其中包含 990 万个图像标题对进行训练，并且包含超过 6 万个用于评估的标题。为了测试泛化性能，我们还提供了一个 ' 未见过 ' 的分割，其中训练和测试标题中的对象集是不相交的。SR4G 是首个可以用于空间微调文本到图像系统的数据集。我们显示微调两个不同的稳定扩散模型（称为 SD$_{SR4G}$）可以使 VISOR 指标提升高达 9 个点。改进结果在 ' 未见过 ' 的分割中依然有效，表明 SD$_{SR4G}$ 可以推广到未见过的对象。SD$_{SR4G}$ 通过更少的参数改进了最先进的方法，并避免了复杂的架构。我们的分析显示改进对于所有关系都是一致的。数据集和代码将公开提供。

Mar, 2024

本文研究基于大规模文本到图像合成 (T2I)，研究其中的空间理解能力，并提出了一个评估指标 VISOR，并引入一个大规模的数据集 SR2D 以及自动化评估管道，对 T2I 模型进行了大规模实验，发现其在多对象和空间关系生成方面存在严重限制和偏差，并提供了数据集和评估指标以支持 T2I 空间推理研究。

Dec, 2022

通过利用合成数据来预训练语言模型，可以帮助它们完成在新的任务或领域的迁移学习，然而这个想法在空间语言方面的研究比较少，本文提供了两个新的数据资源，其中一个是用于空间问答和空间角色标注的合成数据集，另一个为实际问答语料库，在 SQA 和 SPRL 基准测试中，我们发现使用自动生成的合成数据能显著提高模型的性能，尤其是当目标域中的训练数据较少时。

Oct, 2022

该研究介绍了一个由 NVIDIA 深度学习数据合成器生成的新的、可公开获取的图像数据集，用于目标检测、姿势估计和跟踪应用。该数据集包含 144k 个立体图像对，将三个真实环境中的 18 个相机视角合成，其中实验对象包括最多 10 个随机选择的物体和飞行干扰器。

Aug, 2020

通过对稀少的空间关系的分类来构建 SpatialSense 数据集，该数据集可以提供计算机视觉领域的基准测试，引入敌对性众包来降低数据集偏见并且 samples 更有趣的关系，结果表明现有的先进模型表现出与简单基线相当的性能。

Aug, 2019

本文介绍了一种新的建模视觉关系方法，设计了强大而灵活的视觉特征，提出了一种弱监督判别式聚类模型来从仅具有图像级标签的数据中学习关系，并引入了一个新的具有挑战性的数据集（UnRel）和详尽的注释，用于准备评估视觉关系检索。实验结果表明，本文提出的模型在视觉关系数据集上取得了显著的提高，并在新引入的 UnRel 数据集上验证了该观察结果的有效性。

Jul, 2017

本研究提出 Visual Spatial Reasoning（VSR）数据集，这是包含超过 10k 已标注的英文自然文本图像对和 66 种空间关系的数据集，研究表明当前视觉语言模型只能达到约 70％的准确率，无法识别有关物体朝向的关系。

Apr, 2022

本文提出了一个新的 3D 地面真实数据集，并使用一种新的众包方法来降低数据集偏差，从而有效地预测空间关系，证明了最小对比数据收集的有效性以及其导致样本高效训练。

Dec, 2020

本文提出了基于图卷积的框架，通过构建场景图并在场景内计算对象之间的空时关系，从两个不同角度进行了预测行人是否穿过街道的实验，并提供了一种用于自主驾驶系统在高密度行人区进行行人意图预测的新数据集，实验结果表明我们的方法能够以精度高于现有方法的 79.1％（STIP 数据集）和 79.28％（JAAD 数据集）的准确度预测行人的意图。

Feb, 2020

本文介绍了 UUKG，即用于知识增强的城市时空预测的统一城市知识图谱数据集。通过构建 UrbanKGs 并分析其中的高阶结构模式，文章实现了对城市空间时间预测的知识增强，并展示了知识增强模型与不同任务场景下城市知识图谱嵌入方法的潜在联系，其公开的数据集和源代码可在此 https URL 获取。

Jun, 2023