Apr, 2023

基于概率生成辐射场和潜空间能量模型的三维感知解耦图像表示

PDF
TL;DR该论文提出了一种基于可能性的自顶向下三维感知二维图像生成模型 NeRF-LEBM，它通过神经辐射场 (NeRF) 同时考虑了三维表示和二维成像过程，并通过可微分体积渲染来实现。作者提出了两种基于可能性的学习框架用于训练 NeRF-LEBM，并对已知和未知相机位姿的情况下的模型进行了研究。实验表明，NeRF-LEBM 能够从二维图像推断出三维物体结构，并生成具有新视角和新物体的二维图像。
发现论文，激发创造
  • 从多视角几何学中学习神经辐射场

    MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

    Oct, 2022

  • 未知姿态下的多视角到 3D 的生成性提升：将 NeRF 包装在扩散中

    我们将来自未知姿态的多视图重建问题作为一个生成建模问题。通过一组未标注的场景的 2D 图像，我们的方法同时学习了一个网络来预测从 2D 图像输入中的相机姿态，并学习了用于 3D 场景的神经辐射场（NeRF）的参数。通过在标准去噪目标下使用去噪扩散概率模型（DDPM）将姿态预测网络和 NeRF 结合在一起并训练系统来推动学习进展。我们的框架要求系统通过预测图像的姿态并渲染 NeRF 来完成去噪输入 2D 图像的任务。学习去噪因此迫使系统同时学习底层的 3D NeRF 表示和从图像到摄像机外参数的映射。为了促进后者，我们设计了一个自定义的网络架构来将姿态表示为一个分布，从而在仅进行去噪训练时具备发现视图对应关系的隐式能力。这种技术允许我们的系统成功构建 NeRFs，并在竞争方法失败的具有挑战性的场景中使用。在训练结束时，我们学习到的 NeRF 可以被提取并用作 3D 场景模型；我们的完整系统可以用于采样新的相机姿态并生成新的视角图像。

    Jun, 2024

  • LaTeRF: 标签和文本驱动的物体辐射场

    本研究提出了 LaTeRF 方法，通过引入 “对象性” 概率，扩展 NeRF 公式，结合自然语言描述、点标签等信息从场景中提取出感兴趣的物体，并结合预训练的 CLIP 模型和可微分对象渲染器来修复物体的遮挡部分。实验结果表明该方法在合成和真实数据集上均能实现高保真物体提取。

    Jul, 2022

  • 使用光线空间嵌入网络学习神经光场

    本文提出了一种紧凑且直接预测射线上积分辐射度的新型神经光场表示方法，支持小基线光场数据集每像素一次网络评估的渲染，并可应用于大基线场景。

    Dec, 2021

  • LOLNeRF: 从一张图片中学习

    本文提出了利用神经辐射场学习单个视角下的 3D 物体建模方法，并通过类别级别的训练数据来重建物体外形，进而实现新视角综合渲染和单目深度估计的高精度结果。

    Nov, 2021

  • GRAM：用于 3D 感知图像生成的生成辐射流多面体

    提出一种在三维体积中学习隐式表面的方法，从而有效地进行点采样和辐射场学习，在保持 3D 一致性的同时生成高质量、具有真实细节的图像。

    Dec, 2021

  • FiG-NeRF：面向三维对象分类建模的图形 - 背景神经辐射场

    本研究使用神经辐射场（NeRF）从输入图像集合中学习高质量的三维物体类别模型，通过 2 组件 NeRF 模型，FiG-NeRF，实现场景的几何恒定背景和可变形前景的分离，从而仅使用光度监督和随意捕捉的物体图像即可学习准确的三维物体类别模型，并且可以进行精确清晰的无模分割和视图合成，并使用综合测量方法对方法进行定量评估。

    Apr, 2021

  • 基于组合神经辐射场的语义三维感知人像合成与操作

    通过分割语义区域并利用神经辐射场学习各自的辐射场，最后合并成完整图像，CNeRF 方法可以实现细粒度的语义区域操作，同时维持高质量的 3D 一致合成。

    Feb, 2023

  • SNeRL: 语义感知神经辐射场与强化学习

    本论文提出了一种基于视角图进行神经元无关表示的方法，使用语义感知的神经辐射场和卷积编码器共同地学习三维感知神经元隐式表示，在强化学习中实现语义感知的表征。

    Jan, 2023

  • 高效的三维场景重建潜空间神经辐射场

    通过将自编码器与 NeRF 相结合，我们提出了一种潜空间 NeRF，可以在渲染速度提高三倍的同时减少视觉伪影，从而产生更高质量的新视图，可用于实现高效且高保真的 3D 场景表示，特别适用于需要保持可微性的机器人学场景。

    Oct, 2023