ICMLJul, 2022

ViRel：无监督的图像关系发现与图层类比

PDF
TL;DR本文提出了 ViRel，一种基于图级类比的无监督发现和学习视觉关系的方法。在一个共享着相同的底层关系子图结构的任务环境下，我们的学习方法通过对同构和非同构图形进行比较，以无监督的方式发现跨任务的关系。结果表明，我们的方法在关系分类方面达到了超过 95％的准确率，发现了大多数任务的关系图结构，并进一步推广到具有更复杂关系结构的未见过的任务上。
visual relationsunsupervised learninggraph-level analogyrelational subgraph structureabove 95% accuracy
发现论文，激发创造
  • VrR-VG: 聚焦视觉相关关系

    通过构建一个名为 VrR-VG 的新场景图数据集，我们提出了一种通过修剪视觉不相关的关系来自动挖掘更有价值关系的新方法，并通过考虑实例、属性和关系来学习关系感知表征，从而系统性地提高了图像字幕和视觉问题回答的性能。

    Feb, 2019

  • RelViT: 用于视觉关系推理的概念引导视觉 Transformer

    本文利用视觉转换器 (ViTs) 作为我们视觉推理的基本模型，通过优化定义为物体实体及其关系概念，推动 ViTs 的推理能力，并介绍了一种新的概念特征字典，以促进全局关系推理和促进语义对象特定一一对应关系学习的局部任务。结果显示，我们的模型 Concept-guided Vision Transformer（或 RelViT）在 HICO 和 GQA 上的性能均优于先前的方法，并充分考虑了 ViT 变体和超参数的稳健性。

    Apr, 2022

  • 使用类比法检测未见过的视觉关系

    该研究旨在利用个体嵌入和视觉短语嵌入组合来检测图像中的视觉关系三元组，通过类比关系进行传递学习，以解决视觉关系收集训练数据的困难性，并在 HICO-DET，COCO-a 和 UnRel 三个挑战性数据集上得出了较显著的实验结果。

    Dec, 2018

  • 利用神经场景图生成器学习视觉关系先验用于图像文本匹配和图像字幕生成

    通过结合神经场景图生成器和最先进的模型，我们的实验表明用于促进语言到视觉关系的关系特征能够显著改进标准的 Flickr30K 和 MSCOCO 基准测试，在端到端的视觉和语言应用中捕获视觉关系。

    Sep, 2019

  • 视觉关系的弱监督学习

    本文介绍了一种新的建模视觉关系方法，设计了强大而灵活的视觉特征，提出了一种弱监督判别式聚类模型来从仅具有图像级标签的数据中学习关系，并引入了一个新的具有挑战性的数据集（UnRel）和详尽的注释，用于准备评估视觉关系检索。实验结果表明，本文提出的模型在视觉关系数据集上取得了显著的提高，并在新引入的 UnRel 数据集上验证了该观察结果的有效性。

    Jul, 2017

  • 自然语言引导下的视觉关系检测

    本研究提出了一种自然语言引导的框架来解决视觉关系检测任务中对象对之间关系分类的问题，并使用双向循环神经网络以及语义连接来预测参与关系的对象之间的语义连接。该方法在 Visual Relationship Detection 和 Visual Genome 数据集上取得了最佳状态，特别是在未预测关系的情况下。

    Nov, 2017

  • 场景图生成的视觉远程监督

    本文提出了一种视觉远程监督的场景图生成方法，该方法可以在无需人工标注的情况下训练场景图模型，并且进一步通过半监督的方法与人工标注的数据相结合，取得了比现有全监督模型更好的效果。

    Mar, 2021

  • 大规模视觉关系理解

    该研究提出一种新的关系检测模型，将物体和关系嵌入到两个矢量空间中，同时保留了区分能力和语义关联性，并在基于 Visual Genome 的大规模和不平衡基准上展示了该模型的有效性。

    Apr, 2018

  • 基于解释的弱监督学习在视觉关系中的应用：图网络

    该论文提出了一种新型的弱监督方法，使用最少的图像级谓词标签，利用图神经网络从检测到的对象的图形表示中对图像中的谓词进行分类，将关系检测作为谓词分类器的解释，并在三个不同且具有挑战性的数据集上展示结果，表明该方法具有对不全面注释的强健性和良好的少样本泛化能力。

    Jun, 2020

  • 使用场景图进行视觉关系检测：一项调查

    本文为场景图生成的详细调查报告，主要讨论了场景图生成的各种技术、它们的有效性以及场景图在视觉关系理解和其他任务中的应用，同时分析了未来发展的方向。

    May, 2020