基于平行成对 R-FCN 的弱监督视觉关系检测

ICCVAug, 2017

基于平行成对 R-FCN 的弱监督视觉关系检测

PPR-FCN: Weakly Supervised Visual Relation Detection via Parallel Pairwise R-FCN

Hanwang Zhang, Zawlin Kyaw, Jinyang Yu, Shih-Fu Chang

TL;DR本文提出了一种并行、基于区域配对的全卷积网络（PPR-FCN）来解决一种新的视觉任务：弱监督视觉关系检测（WSVRD），以检测图像中的主谓宾关系，其中仅具有图像级别的对象关系地面实况。与弱监督对象检测（WSOD）问题相比，WSVRD 更为具有挑战性，因为它需要检查一大组地区对，这在计算上是禁止的，更容易堵塞在局部最优解中，例如那些涉及错误的空间上下文。

Abstract

We aim to tackle a novel vision task called Weakly Supervised Visual Relation Detection (WSVRD) to detect "subject-predicate-object" relations in an image with object relation groundtruths available only at the image level. This is motivated by the fact that it is extremely expensive to label the combinatorial relations between objects at the instance level.

weakly supervised visual relation detection subject-predicate-object relations parallel pairwise region-based fully convolutional network position-role-sensitive score map visual relation benchmarks

发现论文，激发创造

基于解释的弱监督学习在视觉关系中的应用：图网络

该论文提出了一种新型的弱监督方法，使用最少的图像级谓词标签，利用图神经网络从检测到的对象的图形表示中对图像中的谓词进行分类，将关系检测作为谓词分类器的解释，并在三个不同且具有挑战性的数据集上展示结果，表明该方法具有对不全面注释的强健性和良好的少样本泛化能力。

Jun, 2020

弱监督目标检测：从人 - 物互动中转移知识

介绍了一种基于弱监督物体检测的方法来检测不常见的物体，该方法使用人 - 物体交互的可转移知识来监督图像中的复杂语义，通过传递已经训练过的关于本体识别的 RRPN 的定位图的知识，可以学习到新领域中 HOI 的弱监督物体检测技术。

Nov, 2019

视觉关系的弱监督学习

本文介绍了一种新的建模视觉关系方法，设计了强大而灵活的视觉特征，提出了一种弱监督判别式聚类模型来从仅具有图像级标签的数据中学习关系，并引入了一个新的具有挑战性的数据集（UnRel）和详尽的注释，用于准备评估视觉关系检索。实验结果表明，本文提出的模型在视觉关系数据集上取得了显著的提高，并在新引入的 UnRel 数据集上验证了该观察结果的有效性。

Jul, 2017

少样本视觉关系共定位

本文提出一个优化框架用于在小规模的图像集中并行定位多个视觉关系。框架使用应用于少样本学习的元学习技术，使用简单有效的关系嵌入，将传统的视觉关系定位问题扩展到了 VRC 任务，同时使用贪心近似推理确定大概是最优解。该算法在两个公共数据集上获得高切比实验结果。

Aug, 2021

弱监督视觉引导的关系感知实例细化

本研究提出了一种新的上下文感知弱监督学习方法，它将粗到细的物体细化和实体关系建模结合到一个两阶段深度网络中，以更准确地表述和匹配物体，并通过自我学习回归和关系分析来有效训练必要的分类方法。在 Flickr30K 和 ReferItGame 数据集上的广泛实验表明，本文所提出的弱强化框架比以前的方法具有更好的算法性能，Flickr30K 实体和 ReferItGame 数据集上的 Top-1 准确度分别达到 59.27％和 37.68％。

Mar, 2021

基于知识引导的弱监督指代消解对生成网络

本文提出一种基于知识引导的配对重构网络（KPRN）框架来解决弱监督参考表达基础（REG）问题，并进行了四个大规模数据集的实验来展现模型的优异性能。

Sep, 2019

视频物体检测的关系蒸馏网络

该研究提出了关系蒸馏网络 (RDN) 的新架构，通过跨物体的空时上下文进行聚合和传播，从而改进了目标检测和跨帧盒子链接，并在 ImageNet VID 数据集上实现了最佳 mAP。

Aug, 2019

知识增强的少样本视觉关系检测

本研究提出了一个基于知识增强的少样本学习（few-shot learning）框架，利用预训练语言模型和自动构建的视觉关系知识图谱获取了文本知识和视觉关系知识，从而提高了少样本学习的实用性和性能。与现有最先进模型相比，在常用的 Visual Genome 数据集的三个基准测试中，本方法的性能大幅超越了现有最先进模型。

Mar, 2023

弱监督开放词汇物体检测

提出了一种弱监督开放式词汇目标检测（WSOVOD）框架，扩展了传统的弱监督目标检测方法，实现了对新概念的检测和仅使用图像级别标注的多样数据集的利用。

Dec, 2023

通过空间关系建模改进视觉语言推理

通过构建空间关系图并设计两种预训练任务，即目标位置回归和空间关系分类，本研究提出的方法在 VCR、VQA 和 NLVR 三个视觉与语言推理任务中取得了最先进的结果。

Nov, 2023