CodeNeRF: 面向物体类别的可分离神经辐射场
本研究使用神经辐射场(NeRF)从输入图像集合中学习高质量的三维物体类别模型,通过 2 组件 NeRF 模型,FiG-NeRF,实现场景的几何恒定背景和可变形前景的分离,从而仅使用光度监督和随意捕捉的物体图像即可学习准确的三维物体类别模型,并且可以进行精确清晰的无模分割和视图合成,并使用综合测量方法对方法进行定量评估。
Apr, 2021
我们提出了一种名为 pixelNeRF 的学习框架,可以在仅有一张或几张输入图像的条件下预测连续的神经场景表示。与现有方法相比,我们的体系结构不需要每个场景都进行优化,从而使得在仅有一张图像的情况下就可以执行视角的合成和单幅图像的三维重建。经过大量的实验证明,我们的模型在形状、类别和实景等方面都优于现有的最先进技术。
Dec, 2020
通过提出一种新的编码 - 解码 - 微调流程,CodecNeRF 在保持 (或改善) 图像质量的同时,在常用的 3D 对象数据集(如 ShapeNet 和 Objaverse)上实现了超过 150 倍的压缩性能和 20 倍的编码时间缩短。
Apr, 2024
本文介绍了 MultiPlaneNeRF 模型,该模型可从 2D 图像中直接产生非可训练的表示,并可通过大量数据的训练来实现推广,以及在生成新视角方面达到业界领先水平。
May, 2023
DecentNeRF 是第一次尝试的去中心化、众包的神经辐射场(NeRFs),与集中式方法相比,它在训练过程中减少了服务器计算成本,并通过将用户的 3D 视图分解为个人和全局 NeRFs 以及一种新颖的最优加权聚合,实现学习具有照片级真实感的场景表示。它在结构化合成和真实世界照片旅游数据集上验证了我们的方法学习 NeRFs 具有照片级真实感和最小的服务器计算成本,并进一步分析了 DecentNeRF 中全局 NeRFs 的安全聚合如何最小化服务器对个人内容的不良重建。
Mar, 2024
本论文提出了单视角 NeRF 框架 (SinNeRF),通过引入半监督的学习过程,利用几何标签和语义标签指导训练过程,成功实现了仅通过单个视图将神经辐射场训练到现实场景,即使在不进行多视图数据集预训练的情况下,SinNeRF 可产生逼真的新视图综合结果。
Apr, 2022
利用预训练模型和多模态模型,提出了一个简单的框架,实现了神经辐射场(NeRFs)嵌入与图像和文本之间的双向映射,这种映射开辟了一些新的有用应用,包括 NeRF 零样本分类和从图像或文本中检索 NeRF。
Apr, 2024
本论文提出了一种基于学习的方法,利用无组织的野外照片合成复杂场景的新视图,并介绍了一系列扩展 NeRF 的方法以解决自然图像中的一些问题,最终成功地构建了名称为 NeRF-W 的系统,能够从互联网上的无组织照片集合中重建场景并呈现接近于照片现实主义水平的合成视图。
Aug, 2020
DistillNeRF 是一个自监督学习框架,专注于理解自动驾驶中基于有限 2D 观测的 3D 环境。该方法通过稀疏的、单帧的多视角相机输入,预测丰富的神经场景表示,并通过可微分渲染进行自监督训练以重构 RGB、深度或特征图像。实验证明,DistillNeRF 在场景重建、新视角合成、深度估计和 3D 语义占用预测等方面明显优于现有自监督方法。
Jun, 2024
我们提出了 Drone-NeRF 框架,通过使用神经辐射场(NeRF)来增强适用于无人机倾斜摄影的无界大规模场景的高效重建,将场景根据摄像机位置和深度可见性划分为均匀的子块,在 NeRF 的并行训练中训练子场景,然后合并为完整场景,通过优化相机姿态和引导 NeRF 使用均匀采样器来完善模型,集成选择的样本提高准确性,哈希编码融合 MLP 加速密度表示,生成 RGB 和深度输出,该框架解决了与场景复杂性、渲染效率和无人机获取图像准确性相关的挑战,展示了有前景的能力。
Aug, 2023