Sep, 2023

STDG：一种基于深度引导的一阶段场景图生成的半师生训练范式

PDF
TL;DRSTDG 是一种前卫的深度引导一阶场景图生成方法，通过三个自定义模块实现，能够全面利用深度信息并显著提高一阶场景图生成基线的性能。
scene graph generationautonomous robotic systemsenvironmental comprehensiondepth cuesstdg
发现论文，激发创造
  • OED：实现一阶段端到端的动态场景图生成

    DSGG 研究主要关注于在视频的时空域中识别视觉关系。本文提出了一种称为 OED 的一阶端到端框架，它将任务重新定义为集合预测问题，并利用成对特征来表示场景图中的每个主客体对。同时，为了捕获时序依赖关系，引入了一种称为 PRM 的渐进细化模块，它能够在没有额外跟踪器或手工制作的轨迹的约束下聚合时序上下文，并实现网络的端到端优化。通过在 Action Genome 基准上进行大量实验，证明了我们设计的有效性。

    May, 2024

  • 无条件场景图生成

    本文提出了一个用于无条件生成场景图的生成模型 SceneGraphGen，通过层级循环架构直接学习带标签和有向图的概率分布，生成的场景图多样且遵循真实场景的语义模式，同时还证明了生成的图在图像合成、异常检测和场景图完整性方面的应用。

    Aug, 2021

  • 基于边双场景图和消息传递神经网络的语义场景图生成

    通过引入边缘双场景图生成（EdgeSGG）和双消息传递神经网络（DualMPNN），本论文提出了一种建模多对象关系的新方法，可以准确地预测对象之间的详细关系，并在各个场景图生成子任务中实现了显著的性能提升，同时有效缓解了长尾分布问题。

    Nov, 2023

  • 从 3D 室内重建学习 3D 语义场景图

    本文提出了一种基于场景图的三维场景理解方法，它将场景中的实体组织成图形式，运用基于 PointNet 和 Graph Convolutional Networks（GCN）的学习方法实现了场景图的回归，并且引入了一个新的数据集 3DSSG 来支持该方法的应用和评估。

    Apr, 2020

  • 使用随机文法进行可配置的 3D 场景合成和 2D 图像渲染，同时提供每个像素的真实值

    采用基于学习的方法生成大规模的合成三维场景和任意数量的真实感二维图像，用于训练、基准测试和诊断学习基础的计算机视觉和机器人算法。

    Apr, 2017

  • SCGG：一种深度结构条件图生成模型

    该研究针对图的建模与完整性问题，提出了一种条件深度图生成模型 SCGG，能够自动生成符合特定结构条件的新图样本，并在实验结果中显示该方法在合成数据和实际数据上均具有优异表现。

    Sep, 2022

  • 自适应视觉场景理解：增量场景图生成

    通过引入包含三个学习场景和八个评估指标的综合连续场景图生成（CSEGG）数据集，研究深入探索现有的 SGG 方法在学习新对象时对先前对象实体和关系的保留情况，以及连续目标检测如何增强对未知对象上已知关系的泛化性能。

    Oct, 2023

  • 时空深度图最大化

    本研究介绍一种基于相互信息最大化的空间时间深度图形信息增强模型，致力于解决结构变化频繁的交通、基因等复杂地理信息系统的表征问题，并证明其可显著提高空间时间自回归预测模型的预测性能。

    Apr, 2019

  • 基于分割的场景图生成

    该论文提出了第一个像素级分割 - 基于场景图生成的框架，并通过辅助数据集的转移学习和多任务学习解决了目标场景图数据集中缺乏分割标注的问题，其中引入了基于语义相似性权重的线性组合来表达目标对象的分割掩模，并引入了新颖的高斯注意机制实现像素级关系预测，并且该框架支持端到端可训练。

    Apr, 2021

  • HiKER-SGG：分层知识增强鲁棒场景图生成

    本研究提出了一种新的 SGG 基准测试方法，包括过程生成的天气损坏和其它转换，提出了一种称为 HiKER-SGG 的方法，利用层次化知识图对场景图生成进行精化预测，并在苛刻环境下展示了卓越的性能。

    Mar, 2024