基于混合表示的场景合成深度生成建模

Aug, 2018

基于混合表示的场景合成深度生成建模

Deep Generative Modeling for Scene Synthesis via Hybrid Representations

Zaiwei Zhang, Zhenpei Yang, Chongyang Ma, Linjie Luo, Alexander Huth...

TL;DR本论文提出了一种基于深度生成模型的室内环境场景建模技术，使用前馈神经网络将先验分布映射到室内场景中的主要物体分布，并结合 2D 和 3D 物体排列表示的区分器损失对该模型进行训练，并在多个基准数据集上验证了该模型在场景插值和补全方面的有效性。

Abstract

We present a deep generative scene modeling technique for indoor environments. Our goal is to train a generative model using a feed-forward neural network that maps a prior distribution (e.g., a normal distribution) to the distribution of primary objects in indoor scenes. We introduce a 3D object arrangement representation that models the locations and orien

generative modeling indoor environments deep learning scene representation 2d and 3d object arrangement

发现论文，激发创造

快速灵活的室内场景综合：基于深度卷积生成模型的方法

本文提出了基于卷积生成模型的室内场景综合的新型、快速和灵活的流水线，通过预测物体的类别、位置、方向和尺寸，将其逐步插入场景。该流水线支持自动完成部分场景的生成，生成结果在以数据质量和视觉质量而言优于其他深度生成场景模型。

Nov, 2018

具深度先验知识的室内场景 3D 合成

该研究提出了一种基于深度的双通道生成器和可切换鉴别器，用于从 2D 数据中合成 3D 感知室内场景的图像，并通过实验表明，该方法可以显著优于现有的最先进的方法。

Feb, 2022

3D 表征的深度生成模型：一项调查

本文概述了 3D 生成方法和 3D 感知图像合成的算法和表示方法的发展，并探讨了面临的困难和挑战。

Oct, 2022

通过专家竞争实现因果生成场景模型

通过训练专家生成模型的集合，鼓励系统具有模块化特征的认知偏差，从而达到控制采样和可重组性的目的，并且在处理深度分层和遮挡方面具有优势。

Apr, 2020

提升数据高效三维场景理解的表示学习的泛化能力

通过利用生成贝叶斯网络产生具有真实世界模式的多样化合成场景，并通过联合学习粗到精的对比学习任务和遮挡感知重建任务，我们提出了可泛化的表示学习（GRL）方法，从而为三维场景的理解提供了可传递、几何信息化的表示。在合成数据的预训练之后，我们的模型的所掌握的知识可以通过真实世界基准数据集实现无缝传递到与三维场景理解相关的两个主要下游任务，即三维物体检测和三维语义分割，并通过详尽系列的实验证明了我们方法相对于现有最新预训练方法的持续优势。

Jun, 2024

场景表示网络：连续的三维结构感知神经场景表示

提出了一种连续三维结构感知场景表征模型 Scene Representation Networks (SRNs)，能够通过不需要深度或形状信息的二维图像及其相机姿态进行端到端训练，并在视角合成、少样本重建、形状外插及表现插值等任务中展示出潜力。

Jun, 2019

室内三维场景的简单有效合成

研究如何从 1 或多张图像中合成逼真的室内 3D 场景，采用了基于图像的 GAN 来直接映射成高分辨率的 RGB-D 图像，及在 VLN 训练中进行空间干扰以提高成功率。

Apr, 2022

通过不确定性驱动的属性同步来实现场景合成

本文介绍了一种新颖的神经场景合成方法，可以捕捉 3D 场景的各种特征模式，利用训练数据中学习到的参数先验分布对正向传递神经模型的输出进行规范化，并预测超完备的属性集，通过利用预测的属性之间的基本一致性约束来修剪不可行的预测，生成的 3D 场景忠实地插值训练数据并保留连续和离散的特征模式。

Aug, 2021

可扩展的三维对象为中心学习的变异推断

我们提出了一种可伸缩的无监督面向对象中心的 3D 场景表示学习方法，通过学习在局部对象坐标系统中视角不变的 3D 对象表示，从而推断和维护 3D 场景的对象中心表示，并优于以前的模型。

Sep, 2023

利用多个先验条件进行神经网络 3D 室内重建

我们提出了一种新颖的神经隐式建模方法，利用多种正则化策略在仅依赖图像的情况下实现大型室内环境的更好重建，通过稀疏但准确的深度先验将场景锚定到初始模型，并引入一种密集但精度较低的深度先验，灵活性足以让模型从中分离出来改善估计的几何建模，并提出了一种新颖的自监督策略来规范估计的表面法线，最后，可学习的曝光补偿方案适应复杂的光照条件。实验结果表明，我们的方法在具有挑战性的室内场景中产生了最先进的 3D 重建结果。

Sep, 2023