Feb, 2023

RealFusion: 从单张图像中重建任意物体的 360° 重建

PDF
TL;DR本文提出了一种基于神经辐射场的方法，通过使用已有的条件图像生成器引导其 “创造” 目标物体的新视图，通过 DreamFields 和 DreamFusion 的启发，将给定的输入视图、条件先验和其他正则化参数融合在一起，从而解决了从单张图像进行 360° 拍摄的问题，并在单眼 3D 建模重建中达到了最先进的效果。
发现论文，激发创造
  • 无需针对每个形状优化，45 秒内将任意单张图像转换为 3D 网格

    该研究提出了一种新的方法，使用单个图像进行 3D 重建，生成了一个完整的 360 度 3D 纹理网格，改进于现有方法，具有更好的几何形状和一致性。

    Jun, 2023

  • ReconFusion：基于扩散先验的三维重建

    使用少量照片重建现实场景的方法，通过在合成和多视图数据集上训练的扩散先验来对新视角的合成进行规范化，从而在超约束区域综合出逼真的几何和纹理，同时保持观察区域的外观。与以前的少视图 NeRF 重建方法相比，我们在各种真实世界数据集上进行了广泛评估，包括正向和 360 度场景，并展示了显著的性能改进。

    Dec, 2023

  • ViFu: 通过可见部分融合实现带干净背景的多个 360° 物体重建

    我们提出了一种方法，可以从不同时间戳的场景观察中分割和恢复静态、干净的背景以及多个 360° 对象。我们通过观察相同对象在不同排列下的情况，将多场景融合任务分解为两个主要组成部分：对象 / 背景分割与对齐，以及辐射场融合。实验结果证明了我们的方法的有效性。

    Apr, 2024

  • LOLNeRF: 从一张图片中学习

    本文提出了利用神经辐射场学习单个视角下的 3D 物体建模方法，并通过类别级别的训练数据来重建物体外形，进而实现新视角综合渲染和单目深度估计的高精度结果。

    Nov, 2021

  • 高保真度的单视角 3D 场景重建

    从单视图图像重建详细的 3D 场景仍然是一项具有挑战性的任务，我们提出了一种新颖的框架，用于从单视图图像中同时高保真地恢复物体形状和纹理。我们的方法利用了提出的单视图神经隐式形状和辐射场 (SSR) 表示，利用显式的 3D 形状监督和颜色、深度和表面法线图的体素渲染，克服了部分观测下形状和外观的模糊性，同时支持从新视点渲染图像。除了个体物体，我们的方法还支持将物体水平的表示组合成灵活的场景表示，从而实现了整体场景理解和 3D 场景编辑等应用。我们进行了大量实验证实了我们方法的有效性。

    Nov, 2023

  • 以语言为驱动的姿态条件数据集更新用于神经辐射场中的对象融合

    使用基于语言的方法，通过数据集更新对神经辐射场进行对象操作，将新的前景对象融合到给定的背景中，以生成包含对象和背景的视图一致的照片真实主场景。

    Sep, 2023

  • 实时辐射场用于单张图像人像视角合成

    该论文提出了一种快速、高质量的单张图像推断和呈现真实感三维重建的方法，使用基于视觉 Transformer 的三面板编码器，利用合成数据进行训练，通过卷积渲染技术对神经辐射场的规范三面板进行重建，可以在具有 3D 感知图像生成器的其他类别中应用。

    May, 2023

  • 利用全向图像完善技术提高新视角合成质量

    本文介绍了一种基于神经辐射场（NeRF）的方法，用于从单个 360 度 RGB-D 图像合成新景象，并利用 2D 图像生成模型，最大权重独立集问题和模拟退火等算法，以优化生成的图像。

    Mar, 2022

  • NeuralLift-360: 将野外 2D 照片提升为带有 360° 观测的 3D 物体

    本文提出一种名为 NeuralLift-360 的新框架，使用深度感知的神经辐射表示（NeRF）和去噪扩散模型学习场景，通过引入排名损失，可以使用自然图像进行粗略深度估计，这种技术可以缓解 3D 艺术家和 XR 设计师繁琐的工作流程，生成出高质量的 360 度 3D 对象，具有以下优点：自然图像合成、顶多的深度估计、一致的引导，大力打破现有基线模型！

    Nov, 2022

  • 基于零样本文本引导的 Dream Fields 对象生成

    Dream Fields 提出了一种结合神经渲染和多模态图像和文本表示的方法，能够通过自然语言描述合成各种几何形状和颜色的 3D 对象。

    Dec, 2021