Mar, 2024

外部知识增强的基于草图的三维场景生成

PDF
TL;DR基于手绘草图和对象关系知识的增强扩散架构 (SEK) 用于生成个性化、多样化和可信的 3D 场景，通过外部知识库和图推理辅助模型理解草图，利用 3D 去噪场景转换器生成包括对象实例和布局的场景。与竞争者相比，我们的模型在 3D 场景生成和完成中提高了 FID、CKL 17.41%、37.18% 以及 FID、KID 19.12%、20.06%。
发现论文，激发创造
  • 利用外部知识和图像重建的场景图生成

    本文提出了一种利用外部知识和图像重建损失的新型场景图生成算法，提取外部常识知识以改进场景图的可推广性，并通过在场景图生成网络上引入辅助图像重建路径来解决嘈杂对象注释的偏差问题，全面实验证明我们的框架可以生成更好的场景图，并在 “视觉关系检测” 和 “视觉基因组” 两个基准数据集上实现了最先进的性能。

    Apr, 2019

  • 使用场景图进行 3D 场景扩散引导

    使用场景图进行 3D 场景扩散引导的新方法，通过在去噪网络中使用关系图卷积块来利用场景图提供的相对空间信息，显著提高了场景描述与生成场景之间的对齐。

    Aug, 2023

  • Deep3DSketch+: 从单个手绘草图快速进行三维建模

    AR/VR 发展迅速，对 3D 内容需求巨大。本研究提出一种基于手绘草图的 3D 建模方法，使用单个手绘草图生成高保真内容，无需多个视图或步骤。采用端到端方法，引入轻量级生成网络和结构感知对抗训练，并通过 Stroke Enhancement Module（SEM）捕捉结构信息，提升性能。实验证明该方法在合成和真实数据集上具有最先进的性能。

    Sep, 2023

  • Sat2Scene: 基于扩散的卫星图像三维城市场景生成

    利用扩散模型与神经渲染技术，提出了一种新颖的直接生成三维场景的方法，该方法能够从卫星图像中生成逼真的街景图像序列和跨视角城市场景。

    Jan, 2024

  • CommonScenes：使用场景图生成常识化的 3D 室内场景

    本文提出了一种基于场景图的全生成模型 CommonScenes，旨在通过抽象场景上下文，生成对应的可控三维场景。该模型通过两个分支的预测和生成实现对全局场景 - 对象及局部对象 - 对象关系的捕捉，同时保留形态多样性，从而在生成一致性、品质和多样性方面具有明显优势。

    May, 2023

  • Sketch2NeRF: 多视图草图引导的文本生成三维模型

    通过多视角草图引导的文本到 3D 生成框架，使用预训练的 2D 扩散模型对神经辐射场进行优化，以实现从草图到生成 3D 场景的灵活控制。

    Jan, 2024

  • Sketch3D：风格一致指导的草图生成三维模型

    该论文提出了一种名为 Sketch3D 的新型生成算法，通过形状保持生成过程实例化给定的草图，根据参考图像推断出粗糙的三维高斯先验，并生成基于三维高斯的多视角一致性引导图像，通过三种策略优化三维高斯，从而生成具有真实感的三维资产并与输入一致。

    Apr, 2024

  • 通过反向图形学进行 3D 感知场景操作

    本文提出了一种名为 3D-SDN 的深度生成模型，该模型可以生成可解释的、富有表现力的、分离的场景表示，能够支持 3D 感知场景操作，并证明该模型比其 2D 版本表现更优秀。

    Aug, 2018

  • 双视角知识增强的半监督三维物体检测

    我们提出了一种名为 DPKE 的新型双视角知识丰富方法，用于半监督的三维目标检测，通过数据角度和特征角度来丰富有限的训练数据，特别是无标签数据，实验证明 DPKE 在各种标签比例条件下优于现有的最先进方法。

    Jan, 2024

  • 具深度先验知识的室内场景 3D 合成

    该研究提出了一种基于深度的双通道生成器和可切换鉴别器，用于从 2D 数据中合成 3D 感知室内场景的图像，并通过实验表明，该方法可以显著优于现有的最先进的方法。

    Feb, 2022