Nov, 2021

基于生成式占位场的三维表面感知图像合成

PDF
TL;DR本文提出了一种名为 GOF 的新模型，它基于生成亮度场，可以在不妨碍其训练收敛的情况下学习紧凑的物体表面。GOF 的关键在于从亮度场的累积渲染到只以表面点为基础的渲染的特定转换。通过对多个数据集的全面实验，我们证明了 GOF 可以生成具有 3D 一致性的高质量图像，并同时学习到紧凑而光滑的物体表面。
generative radiance fieldsoccupancy representations3d-aware image synthesisobject surfacestraining convergence
发现论文，激发创造
  • GRAF: 用于三维感知图像合成的生成辐射场

    本文提出了一种基于放射场的生成模型，该模型具有高保真度的可渲染三维一致模型，能够更准确地控制相机视点和物体姿态，并通过一个多尺度基于补丁的鉴别器来演示高分辨率图像的合成。

    Jul, 2020

  • 高斯不透明度场：无界场景中高效紧凑的表面重建

    通过使用高斯不透明度场 (GOF)，本研究提出了一种高效、高质量、紧凑的无界场景表面重建方法，该方法借助基于光线追踪的 3D 高斯体积渲染，直接提取来自高斯体积的几何信息，并通过正则化来改善几何表达，同时利用阶梯四面体提取方法适应复杂场景，实现了超越现有方法的表面重建和新视角合成效果，同时在质量和速度方面与神经隐式方法相比有明显优势。

    Apr, 2024

  • 具有条件生成占用场的可控三维人脸合成

    本文提出了一种基于 NeRF 的条件生成 3D 人脸合成框架，该框架能够通过从 3D 脸部先验中强制显式的 3D 条件生成可控制性高保真面部图像，并且比现有的基于 2D 的可控制性合成方法具有更精确的 3D 可控制性。

    Jun, 2022

  • FOF: 单目实时人体重建的傅里叶占用场学习

    本文提出了一种新型、强大、高效、灵活的三维表示 —— 傅里叶占用场（FOF），用于单目实时准确的人体重建，并且构建了第一个 30+FPS 高保真实时单目人体重建框架，能够将三维几何体和二维图像之间的鸿沟连结起来。

    Jun, 2022

  • GRF：学习通用辐射场进行三维表示与渲染

    这篇研究论文提出了一种新型神经网络，可以从 2D 观察中隐式地表示和渲染 3D 物体和场景，通过将 2D 图像中的像素特征投影到 3D 点上，并使用聚合策略来考虑视觉遮挡，生成高质量逼真的新视角。

    Oct, 2020

  • GRAM：用于 3D 感知图像生成的生成辐射流多面体

    提出一种在三维体积中学习隐式表面的方法，从而有效地进行点采样和辐射场学习，在保持 3D 一致性的同时生成高质量、具有真实细节的图像。

    Dec, 2021

  • H2O-SDF: 使用物体表面场的二阶段学习进行 3D 室内重建

    我们介绍了一种新颖的两阶段学习方法，H2O-SDF，用于区分室内环境中的对象和非对象区域。该方法在保持房间布局的几何完整性的同时，捕捉特定对象的复杂表面细节。我们的方法的核心是引入了一种名为对象表面场（OSF）的新概念，用于解决先前阻碍其他方法捕捉高频细节的持续消失梯度问题。通过多个实验，包括消融研究，验证了我们提出的方法。

    Feb, 2024

  • 使用局部条件光辐射场进行无约束场景生成

    本文介绍了一种名为 GSN (Generative Scene Networks) 的生成式场景网络，通过学习将复杂室内场景分解成许多局部辐射场并能够从任意视点渲染，同时具有生成新场景和完成仅有稀疏 2D 观察的场景的能力，并能够更好地表示和呈现大尺寸和复杂室内环境。通过与其他现有模型的比较，GSN 在多个场景数据集上表现出更高的场景渲染质量。

    Apr, 2021

  • 非监督式物体光场的发现与合成

    本文提出了一种基于光场的物体中心化组合场景表示法，通过无监督的方式学习神经场景表示，显著提高了场景渲染的速度和质量。

    May, 2022

  • DiffRF: 基于渲染引导的 3D 辐射场扩散

    DiffRF 是一种针对三维辐射场合成的新方法，利用去噪扩散概率模型生成体积辐射场。通过将去噪公式与渲染损失配对，我们的模型可以学习偏态先验，使其倾向于良好的图像质量而不是试图复制浮动伪像等拟合误差。与 3D GAN 相比，我们的扩散方法自然地实现了条件生成，例如掩蔽完成或推理时的单视图 3D 合成。

    Dec, 2022