Jun, 2024

大规模遥感卫星影像中场景图生成：一个大样本数据集与上下文感知方法

PDF
TL;DR该研究论文提出了一个面向大尺寸卫星图像的场景图生成方法，构建了一个大规模的 SGG 数据集，通过上下文感知级联认知框架实现了场景图的检测、筛选和关系预测。
scene graph generationsatellite imagerylarge-size vhr saisgg datasetcontext-aware cascade cognition
发现论文，激发创造
  • 自适应视觉场景理解：增量场景图生成

    通过引入包含三个学习场景和八个评估指标的综合连续场景图生成（CSEGG）数据集，研究深入探索现有的 SGG 方法在学习新对象时对先前对象实体和关系的保留情况，以及连续目标检测如何增强对未知对象上已知关系的泛化性能。

    Oct, 2023

  • AUG：一种用于航空图像城市场景图生成的新数据集和高效模型

    该研究构建和发布了一个低视角俯瞰图像的空中城市场景图生成（AUG）数据集，并提出了一种新的保持局部性的图卷积网络（LPG），以解决眼高视角下的图像遮挡问题和全局信息获取的矛盾，在此数据集上的实验证明了 LPG 方法在空中场景图生成中的显著优势。

    Apr, 2024

  • 扩展场景图边界：通过视觉 - 概念对齐和保持实现全开词汇场景图生成

    提出了一种名为 OvSGTR 的统一框架，用于从整体视角实现完全开放词汇的场景图生成，并通过知识蒸馏保留视觉 - 概念对齐，综合实验结果在 Visual Genome 基准上证明了该框架的有效性和优越性。

    Nov, 2023

  • 物体关系预测的逻辑偏差学习

    通过因果推断进行对象关系预测的场景图生成方法，结合对象增强模块，在 Visual Gnome 150 数据集上取得了有效的实验结果，为决策模型的基础建模提供了巨大潜力。

    Oct, 2023

  • 基于边双场景图和消息传递神经网络的语义场景图生成

    通过引入边缘双场景图生成（EdgeSGG）和双消息传递神经网络（DualMPNN），本论文提出了一种建模多对象关系的新方法，可以准确地预测对象之间的详细关系，并在各个场景图生成子任务中实现了显著的性能提升，同时有效缓解了长尾分布问题。

    Nov, 2023

  • 图像语义关系生成

    为解决场景图构建的大量人工成本，提出了一种基于图像语义关系生成的简单有效的图像到文本模型（ISRG），该模型通过将场景图任务分解为两个子任务，即图像分割任务和限制性自回归文本生成任务，极大地降低了场景图的构建成本。在 OpenPSG 数据集上，该模型获得了 31 分，相应地优于强基线 ResNet-50 和 CLIP 16 点和 5 点。

    Oct, 2022

  • 从 3D 室内重建学习 3D 语义场景图

    本文提出了一种基于场景图的三维场景理解方法，它将场景中的实体组织成图形式，运用基于 PointNet 和 Graph Convolutional Networks（GCN）的学习方法实现了场景图的回归，并且引入了一个新的数据集 3DSSG 来支持该方法的应用和评估。

    Apr, 2020

  • 全景场景图生成

    介绍了一项新的问题任务，即基于全景分割生成全景场景图（PSG）；创建了一个高质量 PSG 数据集用于基准测试，并介绍了四种传统方法的改进和两种基于 Transformer 的单阶段基线；探讨了未来的挑战和发展方向。

    Jul, 2022

  • 从像素到图形：利用视觉语言模型进行开放式场景图生成

    基于序列生成的新型开放词汇的场景图生成框架，通过使用视觉语言预训练模型和显式关系建模知识，实现了优质性能的开放词汇感知场景图生成和增强下游视觉语言任务的目的。

    Apr, 2024

  • HiKER-SGG：分层知识增强鲁棒场景图生成

    本研究提出了一种新的 SGG 基准测试方法，包括过程生成的天气损坏和其它转换，提出了一种称为 HiKER-SGG 的方法，利用层次化知识图对场景图生成进行精化预测，并在苛刻环境下展示了卓越的性能。

    Mar, 2024