May, 2023

CommonScenes：使用场景图生成常识化的 3D 室内场景

PDF
TL;DR本文提出了一种基于场景图的全生成模型 CommonScenes，旨在通过抽象场景上下文，生成对应的可控三维场景。该模型通过两个分支的预测和生成实现对全局场景 - 对象及局部对象 - 对象关系的捕捉，同时保留形态多样性，从而在生成一致性、品质和多样性方面具有明显优势。
controllable scene synthesisscene graphsgenerative modellatent diffusion3d scenes
发现论文，激发创造
  • 图形到三维：使用场景图端到端生成和操作三维场景

    这篇研究论文提出了直接从场景图形中生成形状的第一种方法，并利用图卷积网络（Graph Convolutional Networks）对物体类别、边缘类别、3D 形状和场景布局进行 VAE 训练，从而支持场景生成和修改。

    Aug, 2021

  • 学习视觉通识以实现强健场景图生成

    论文提出了一种通过获取视觉常识来改善场景图生成模型的鲁棒性的方法，并使用 Transformer 模型结合场景图结构训练了 GLAT 模型，该模型可以纠正明显的错误。通过实验证明，该模型比其他方法更好地学习了视觉常识，并提高了最先进场景图生成模型的准确性。

    Jun, 2020

  • 无条件场景图生成

    本文提出了一个用于无条件生成场景图的生成模型 SceneGraphGen，通过层级循环架构直接学习带标签和有向图的概率分布，生成的场景图多样且遵循真实场景的语义模式，同时还证明了生成的图在图像合成、异常检测和场景图完整性方面的应用。

    Aug, 2021

  • 从 3D 室内重建学习 3D 语义场景图

    本文提出了一种基于场景图的三维场景理解方法，它将场景中的实体组织成图形式，运用基于 PointNet 和 Graph Convolutional Networks（GCN）的学习方法实现了场景图的回归，并且引入了一个新的数据集 3DSSG 来支持该方法的应用和评估。

    Apr, 2020

  • 通过场景图引导的布局形状生成进行构成性 3D 场景合成

    从场景图生成逼真合理的三维场景，利用大型语言模型显式汇总全局图特征和局部关系特征，通过统一的图卷积网络从更新的场景图中提取图特征，并引入基于 IoU 的正则化损失来约束预测的三维布局。在 SG-FRONT 数据集上进行基准测试，我们的方法在场景级准确性方面取得了更好的三维场景合成效果。发表后将发布源代码。

    Mar, 2024

  • 将知识图谱桥接生成场景图

    本文提出了一种将场景图像与通识知识图谱相结合的新型神经网络方法 GB-Net，通过迭代循环优化信息传达的方式同时实现场景图与通识图的节点连接和边连接，取得了优越的分析表现并创造了新的最优水平。

    Jan, 2020

  • 通过层次关系和常识知识增强场景图生成

    该论文提出了一种改进的方法来生成场景图，通过引入关系层次结构和常识知识。具体而言，我们提出了一个贝叶斯分类头，利用了信息丰富的层次结构，同时预测两个对象之间的超类或关系类型以及每个超类下的详细关系。我们设计了一个常识验证流程，使用大型语言模型对场景图预测系统的结果进行评估，并利用反馈改善模型性能。该系统在测试时不需要外部大型语言模型的辅助，更适用于实际应用。在 Visual Genome 和 OpenImage V6 数据集上的实验证明，利用层次关系可以大幅提高模型性能。该论文提出的贝叶斯头还可以作为一个可移植模块加入现有的场景图生成算法中，以改善它们的结果。此外，常识验证使得模型能够产生大量超出数据集注释的合理预测。

    Nov, 2023

  • 从场景图和自注意力生成 3D 场景

    使用自我关注层和图变换器从场景图和楼层平面图中合成 3D 场景布局，生成更稀疏和多样化的场景。

    Apr, 2024

  • 利用外部知识和图像重建的场景图生成

    本文提出了一种利用外部知识和图像重建损失的新型场景图生成算法，提取外部常识知识以改进场景图的可推广性，并通过在场景图生成网络上引入辅助图像重建路径来解决嘈杂对象注释的偏差问题，全面实验证明我们的框架可以生成更好的场景图，并在 “视觉关系检测” 和 “视觉基因组” 两个基准数据集上实现了最先进的性能。

    Apr, 2019

  • 场景图预测的生成组合增强

    通过使用合成的稀有场景图并基于条件生成对抗网络的模型，可以解决在场景图生成中面临的组合泛化问题，提高新颖组合成分的准确性

    Jul, 2020