ICCVAug, 2021

场景设计师：从草图到场景搜索与合成的统一模型

PDF
TL;DRScene Designer 是一种利用手绘场景构图自由搜索和生成图像的新方法，其核心是一个学习跨模态搜索嵌入和布局合成物的单一统一模型，我们表明需要使用一个图网络和变压器进行对比学习以实现目标类型、外观和布局之间的相关性学习，驱动掩模生成模块，综合一致的场景布局，并提供了最先进的基于素描的视觉搜索场景。
scene designersketchescross-modal searchgraph neural networklayout synthesis
发现论文，激发创造
  • 通过场景图引导的布局形状生成进行构成性 3D 场景合成

    从场景图生成逼真合理的三维场景，利用大型语言模型显式汇总全局图特征和局部关系特征，通过统一的图卷积网络从更新的场景图中提取图特征，并引入基于 IoU 的正则化损失来约束预测的三维布局。在 SG-FRONT 数据集上进行基准测试，我们的方法在场景级准确性方面取得了更好的三维场景合成效果。发表后将发布源代码。

    Mar, 2024

  • GraphDreamer: 从场景图生成组合式三维场景合成

    通过使用场景图生成组成 3D 场景的图形图像扩散预训练模型，利用节点和边的信息，GraphDreamer 能够生成高保真的分解对象实体的组合性 3D 场景。

    Nov, 2023

  • 图形到三维：使用场景图端到端生成和操作三维场景

    这篇研究论文提出了直接从场景图形中生成形状的第一种方法，并利用图卷积网络（Graph Convolutional Networks）对物体类别、边缘类别、3D 形状和场景布局进行 VAE 训练，从而支持场景生成和修改。

    Aug, 2021

  • 场景布局的端到端优化

    提出一种基于变分生成模型和场景图条件的端到端场景布局合成方法，并使用可微分渲染模块优化生成的布局。实验表明，该模型可以更精确和多样地进行条件场景合成，并允许从各种输入形式生成样本化场景。

    Jul, 2020

  • 无监督场景素描到照片的合成

    本文提出了一种新的基于素描图的自然照片综合方法，采用无监督学习，结合标准化模块提取参考照片、在训练中提供假素描照片对，以及两种主要成分：全局场景结构和低级视觉风格的组合。实验结果表明，该方法可以生成具有高保真度的真实感照片，并且在相应场景素描的编辑方面具有更高的细节度，优于其他基于照片综合的方法。

    Sep, 2022

  • 通过不确定性驱动的属性同步来实现场景合成

    本文介绍了一种新颖的神经场景合成方法，可以捕捉 3D 场景的各种特征模式，利用训练数据中学习到的参数先验分布对正向传递神经模型的输出进行规范化，并预测超完备的属性集，通过利用预测的属性之间的基本一致性约束来修剪不可行的预测，生成的 3D 场景忠实地插值训练数据并保留连续和离散的特征模式。

    Aug, 2021

  • CommonScenes：使用场景图生成常识化的 3D 室内场景

    本文提出了一种基于场景图的全生成模型 CommonScenes，旨在通过抽象场景上下文，生成对应的可控三维场景。该模型通过两个分支的预测和生成实现对全局场景 - 对象及局部对象 - 对象关系的捕捉，同时保留形态多样性，从而在生成一致性、品质和多样性方面具有明显优势。

    May, 2023

  • SceneFormer：基于 Transformer 模型的室内场景生成

    通过使用 transformers 的自我关注机制来生成室内场景，使得场景的生成速度更快、逼真程度更高，并且方法还具有更高的灵活性，可以根据不同条件进行调整。

    Dec, 2020

  • 场景条件下的三维物体风格化与组合

    通过结合建模和优化对象的纹理和环境光照，本论文提出了一个框架，使得现有的 3D 资源能够适应给定的 2D 场景，同时生成一种真实感的组合效果，使得假定的对象能够放入该环境中。

    Dec, 2023

  • InstructScene: 指令驱动的具有语义图先验的三维室内场景合成

    通过集成语义图形先验和布局解码器的创新生成框架 InstructScene，改进了三维场景合成的可控性和保真度，并展示了零样本方式在各种下游任务中的多功能性。

    Feb, 2024