ICCVMar, 2021

场景图生成的视觉远程监督

PDF
TL;DR本文提出了一种视觉远程监督的场景图生成方法，该方法可以在无需人工标注的情况下训练场景图模型，并且进一步通过半监督的方法与人工标注的数据相结合，取得了比现有全监督模型更好的效果。
scene graph generationvisual relation learningdistant supervisionweakly supervisedsemi-supervised
发现论文，激发创造
  • 使用有限标签进行场景图预测

    本文提出了一种半监督方法，通过很少的带标签的样本分配概率关系标签到大量未标记的图像，生成足够的训练数据来训练任何现有的最先进的场景图模型，该方法在场景图预测方面优于所有基准方法，此外，我们定义了一种关系的复杂度指标，为条件提供指示符。

    Apr, 2019

  • 利用推理学习改进远程监督

    本文提出了一种使用知识推理方法检测潜在误差样本的方法，以提高使用远程监督数据训练关系提取系统的性能。

    Sep, 2015

  • 使用场景图进行视觉关系检测：一项调查

    本文为场景图生成的详细调查报告，主要讨论了场景图生成的各种技术、它们的有效性以及场景图在视觉关系理解和其他任务中的应用，同时分析了未来发展的方向。

    May, 2020

  • 基于视觉语言辅助的伪标签方法实现弱监督的三维场景图生成

    通过视觉语言辅助伪标记，我们提出了 3D-VLAP，一种弱监督的三维场景图生成方法，能够对三维点云场景进行语义对齐并生成场景图，从而在减轻数据标注压力的同时实现与完全监督方法可比较的效果。

    Apr, 2024

  • 关系分类中的众包语义标签传播

    该研究使用 CrowdTruth 方法将人类注释信号扩展到相似的低维空间中的句子，从而显着提高了句级多类关系分类器的性能。

    Sep, 2018

  • 从自然语言监督中学习生成场景图

    本文提出了一种通过图像 - 句子对学习的方法，以提取图像中本地化对象及其关系的图形表示，即场景图，其中利用了现成的对象检测器来识别和定位对象实例，并通过掩码标记预测任务预测伪标签以学习场景图。通过学习图像 - 句子对，我们的模型相较于使用人工注释的非定位场景图训练的最新方法获得了 30％的相对增益。同时，在弱监督和全监督场景图生成方面，我们的模型也展现了出色的结果，我们还探究了用于检测场景图的开放词汇设置，并呈现了首个开放式场景图生成的结果。

    Sep, 2021

  • 使用场景描述的语义建模改进视觉关系检测

    通过将语义模型与视觉统计模型相结合，并应用多种先进的链接预测方法，本研究证明链接预测方法可以提高对于视觉关系检测的结果，并在 Stanford Visual Relationship 数据集上取得了优于当今最先进方法的性能。

    Sep, 2018

  • 无监督视觉 grounding 的学习：通过语义自监督

    本文提出了一种新型的无监督视觉基础框架，使用概念学习作为代理任务来获得自我监督，以鼓励模型定位和解释语义属性，在多项实验中，该方法在图像本体库、ReferItGame 数据集上分别提升了 5.6% 和 5.8%，在 Flickr30k 数据集上达到了与最先进的表现相媲美的水平。

    Mar, 2018

  • 利用神经场景图生成器学习视觉关系先验用于图像文本匹配和图像字幕生成

    通过结合神经场景图生成器和最先进的模型，我们的实验表明用于促进语言到视觉关系的关系特征能够显著改进标准的 Flickr30K 和 MSCOCO 基准测试，在端到端的视觉和语言应用中捕获视觉关系。

    Sep, 2019

  • 多模态预训练中视觉关系的弱监督学习

    本文研究了使用小规模可视关系数据的预训练方法，包括使用场景图将可视关系三元组转换为结构化说明，以及使用掩模关系预测进一步鼓励从可视上下文中关联实体，并且证明了这些方法从弱监督关系数据中学习多模态表示的有效性。

    May, 2023