Mar, 2019

场景图解析的图形对比损失

PDF
TL;DR该研究提出了一组对比损失函数用于处理场景图解析中的实体实例混淆和近距离关系歧义问题，并提出了一种称为 RelDN 的关系检测器，该模型在 OpenImages 关系检测挑战赛中相对前一个胜出方法提升了 4.7％（相对 16.5％），在 Visual Genome 和 Visual Relationship Detection 数据集上的结果也得到了改善。
发现论文，激发创造
  • 场景图生成中用于新组合的图密度感知损失

    本研究提出一种在场景图生成任务中能够处理零样本和小样本情况的密度归一化边缘损失函数，并且介绍了新的加权评估指标来提高模型性能。

    May, 2020

  • 图像 - 文本 - 图形空间粗糙到精细对比学习，旨在提高视觉语言组合能力

    通过构建图像场景的文本表示形式，提出了一种图形分解和增强框架以进行对比学习，同时提出了一种用于改善 scene graph 空间中属性绑定和关系理解的负样本挖掘技术，通过大量实验证明了该方法的有效性。

    May, 2023

  • Lang3DSG: 基于语言的对比预训练用于 3D 场景图预测

    我们提出了第一个针对 3D 场景图的基于语言的预训练方法，利用了场景图和语言之间的强关联，通过对比性预训练将文本嵌入关系和预测的 3D 图特征进行对齐，最终实现了在主要语义 3D 场景图基准上的效果最优，超过现有全监督场景图预测方法的显著边缘，并且由于场景图特征与语言对齐，允许我们以零样本的方式查询特征的语言空间。

    Oct, 2023

  • 通过去偏向性生成信息场景图

    为解决语义空间层面和样本训练层面的不平衡问题，在场景图生成中提出了一种名为 DB-SGG 的有效框架，通过语义去偏见和平衡谓词学习的组件集成，超过 Transformer 136.3％、119.5％和 122.6％的 mR@20，在三个场景图生成子任务上，应用于 SGG 模型，并在句子到图形检索和图像字幕的两个下游任务上得到验证。

    Aug, 2023

  • 使用 Transformer 学习场景图和图像之间的相似性

    本研究通过引入对比学习框架，提出了一种用于测量图像和场景图相似性的图像 - 图形对齐方法，并且通过引入 R-Precision 作为新的评估指标，建立了基于 Visual Genome 和 Open Images 数据集的新基准。

    Apr, 2023

  • 使用有限标签进行场景图预测

    本文提出了一种半监督方法，通过很少的带标签的样本分配概率关系标签到大量未标记的图像，生成足够的训练数据来训练任何现有的最先进的场景图模型，该方法在场景图预测方面优于所有基准方法，此外，我们定义了一种关系的复杂度指标，为条件提供指示符。

    Apr, 2019

  • 基于解释的弱监督学习在视觉关系中的应用：图网络

    该论文提出了一种新型的弱监督方法，使用最少的图像级谓词标签，利用图神经网络从检测到的对象的图形表示中对图像中的谓词进行分类，将关系检测作为谓词分类器的解释，并在三个不同且具有挑战性的数据集上展示结果，表明该方法具有对不全面注释的强健性和良好的少样本泛化能力。

    Jun, 2020

  • PCPL: 面向无偏场景图生成的谓词 - 相关感知学习

    介绍了针对场景图生成任务中的类别不平衡问题，提出了一种基于谓语相关性感知的学习方案，并通过图编码器进一步提取上下文特征以提高模型性能。实验证明，该方法在处理长尾分布时具有更好的表现。

    Sep, 2020

  • 场景图预测的生成组合增强

    通过使用合成的稀有场景图并基于条件生成对抗网络的模型，可以解决在场景图生成中面临的组合泛化问题，提高新颖组合成分的准确性

    Jul, 2020

  • 利用谓词和三元组学习进行场景图生成

    本文提出了一种双粒度关系建模（Dual-granularity Relation Modeling）网络，利用粗粒度和细粒度的三元组线索来促进关系识别，并引入了双粒度知识传递（Dual-granularity Knowledge Transfer）策略来解决长尾问题，实验证明了该方法的有效性。

    Jun, 2024