Jul, 2023

从配对到关系：用 Pair-Net 生成全景场景图

PDF
TL;DR本文提出了一种基于 Pair Proposal Network (PPN) 的新型架构 Pair then Relation (Pair-Net)，利用矩阵学习器 (matrix learner) 来过滤稀疏的主语和宾语之间的关系，通过实验分析得到了新的最佳 PSG 表现结果，并超越了之前的 PSGFormer。
panoptic scene graphscene graph generationpair then relationpair proposal networkpsg benchmark
发现论文，激发创造
  • 全景场景图生成

    介绍了一项新的问题任务，即基于全景分割生成全景场景图（PSG）；创建了一个高质量 PSG 数据集用于基准测试，并介绍了四种传统方法的改进和两种基于 Transformer 的单阶段基线；探讨了未来的挑战和发展方向。

    Jul, 2022

  • HiLo: 利用高低频率关系进行无偏差全景场景图生成

    提出了一种名为 Panoptic Scene Graph generation 的任务，该任务旨在分段图像并提取三元组，同时利用 HiLo 框架解决长尾问题和语义重叠问题，以实现无偏的 PSG 方法。在广泛的实验中取得了最新的实验结果，并应用于预测场景图中的盒子的场景图生成任务中，相比所有基线方法均有所改善。

    Mar, 2023

  • TextPSG: 从文本描述生成全景场景图

    从纯文本描述中生成全景场景图，通过区域分组器、实体对齐器、段合并器和标签生成器构建无显式链接、无预定义概念集的场景理解框架，有效地提高了性能和鲁棒性。

    Oct, 2023

  • 领域不变学习用于全景场景图生成

    通过测量主题对象对之间的谓词预测风险，以及学习不变的谓词表示嵌入，我们提出了一种新的框架来推断潜在的有偏见注释并将其自适应地转移为一致的注释，从而显著提高了基准模型的性能，达到了最新的最佳表现，并在 Panoptic 场景图生成数据集上展示了很好的泛化和有效性。

    Oct, 2023

  • SOGNet: 面向全景分割的场景重叠图网络

    本研究旨在建立一种基于场景图表示的简化情形，名为场景重合图，来描述实体之间的重叠关系，并利用关系嵌入方法，以减少监督来解决实例之间的重叠关系。最终的试验结果表明，我们提出的方法能够准确地预测重叠关系，在所有测试集上的表现均优于现有最先进的方法，在 COCO 2019 基准测试中获得了创新奖。

    Nov, 2019

  • 图像语义关系生成

    为解决场景图构建的大量人工成本，提出了一种基于图像语义关系生成的简单有效的图像到文本模型（ISRG），该模型通过将场景图任务分解为两个子任务，即图像分割任务和限制性自回归文本生成任务，极大地降低了场景图的构建成本。在 OpenPSG 数据集上，该模型获得了 31 分，相应地优于强基线 ResNet-50 和 CLIP 16 点和 5 点。

    Oct, 2022

  • 从视觉场景中学习物理图形表示

    本篇论文提出了一种名为 PSGNet 的网络架构，该架构能够通过物理场景图像层次结构学习和提取场景信息，尤其在复杂真实世界图像上的场景分割任务上表现出色，并且能够从物理运动中学习到更为准确的场景估计。

    Jun, 2020

  • 基于边双场景图和消息传递神经网络的语义场景图生成

    通过引入边缘双场景图生成（EdgeSGG）和双消息传递神经网络（DualMPNN），本论文提出了一种建模多对象关系的新方法，可以准确地预测对象之间的详细关系，并在各个场景图生成子任务中实现了显著的性能提升，同时有效缓解了长尾分布问题。

    Nov, 2023

  • 全景视频场景图生成

    通过建立综合的真实世界视觉感知系统，我们提出并研究了一个称为全景场景图生成（PVSG）的新问题。PVSG 与现有的视频场景图生成（VidSGG）问题相关，后者侧重于视频中的人与物体之间的时间交互，并基于边界框进行实体识别。然而，边界框在检测非刚性物体和背景方面的局限性常常导致 VidSGG 遗漏关键细节，而 PVSG 则要求场景图中的节点由更精确的像素级分割掩码实体识别，以促进整体场景理解。为了推动这一新领域的研究，我们贡献了 PVSG 数据集，其中包含 400 个视频（289 个第三人称视频 + 111 个自我中心视频），包含 150K 帧用于全景分割掩码以及精细的时间场景图。我们还提供了各种基准方法，并分享了未来工作的有用设计实践。

    Nov, 2023

  • 基于图的全景稀疏语义分割网络 GP-S3Net

    本文提出了一种高效的基于 LiDAR 的全景分割框架 GP-S3Net，通过构建图卷积网络以识别物体并将其与背景类融合，利用实例标签为构造的每个图生成地面真实边缘标签来监督学习，在 nuScenes 和 SemanticPOSS 等数据集上实验表明 GP-S3Net 优于现有最先进的方法，在公共 SemanticKITTI 排行榜上排名第一。

    Aug, 2021