基于变量辐射场的真实世界分类重建
本研究使用神经辐射场(NeRF)从输入图像集合中学习高质量的三维物体类别模型,通过 2 组件 NeRF 模型,FiG-NeRF,实现场景的几何恒定背景和可变形前景的分离,从而仅使用光度监督和随意捕捉的物体图像即可学习准确的三维物体类别模型,并且可以进行精确清晰的无模分割和视图合成,并使用综合测量方法对方法进行定量评估。
Apr, 2021
提出了 MVSNeRF,这是一种新颖的神经渲染方法,可以通过快速网络推理从仅三个附近输入视图重建辐射场,利用平面扫描代价体进行几何感知场景推理,并将其与基于物理的体积渲染相结合,能够横跨场景(甚至是室内场景)泛化,并仅使用三个输入图像生成逼真的视图合成结果,比类似工作在可推广的辐射场重建方面表现显著优越。
Mar, 2021
使用基于体元的优化框架 ReVoRF,针对伪新视图合成中的不可靠性问题,利用相对深度关系和绝对颜色值之间的权衡,通过双边几何一致性损失和可靠性引导学习策略,实现了对数据的更细粒度利用和增强重建质量,显著提高效率和准确性。
Mar, 2024
VMRF is an innovative NeRF that can effectively train without requiring prior knowledge in camera poses or camera pose distributions through its view matching scheme and feature transport plan.
Jul, 2022
MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化,以提高所估计表面的质量。实验结果表明,该方法可以从图像中获取干净的三维网格,同时在新视角合成方面具有竞争力的表现。
Oct, 2022
通过构建多尺度编码体积和提供多尺度几何信息给 NeRF 模型,本文在新颖视角合成和密集几何建模方面提出了一种先进行深度预测和辐射场重建,以使构建的体积尽可能接近场景中物体的表面和渲染的深度更准确,然后通过深度引导的邻域特征融合,提高点体积特征的质量,从而实现了对场景进行优化而不是对单个场景优化的结果。
Jul, 2023
这篇研究论文提出了一种新型神经网络,可以从 2D 观察中隐式地表示和渲染 3D 物体和场景,通过将 2D 图像中的像素特征投影到 3D 点上,并使用聚合策略来考虑视觉遮挡,生成高质量逼真的新视角。
Oct, 2020
该研究论文介绍了 VideoRF,这是第一个能够在移动平台上实时流式传输和渲染动态辐射场的方法,通过使用特定的训练方案和渲染流水线,实现了在移动设备上的高效实时渲染。
Dec, 2023
我们提出了一种新颖的三维物体中心表示学习框架,通过单一图像无监督地将复杂场景有效地分解为单个对象。该方法被称为有目标引导的体积物体辐射场(sVORF),它利用对象槽作为引导来组成体积物体辐射场,并在三维位置处使用对象槽引导对象辐射场的合成。此外,由于训练期间像素渲染的小尺寸,sVORF 显著降低了内存要求。我们通过在复杂合成数据集(如 Room-Diverse)的场景分解和生成任务中展示出最佳结果,证明了我们方法的有效性。此外,我们还验证了 sVORF 在现实世界场景(如 LLFF 数据集)中分割对象的潜力。我们希望我们的方法可以对物理世界提供初步的理解,并帮助简化未来在三维物体中心表示学习领域的研究。
Jan, 2024
NeVRF 利用神经辐射场与基于图像的渲染相结合,通过引入新颖的多视图辐射混合方法从多视图视频中直接预测辐射,实现对长时间动态内视场景的逼真新视点合成。通过利用连续学习技术,NeVRF 能够高效重构顺序数据的帧,不需要重新访问先前的帧,从而实现长时间自由视点视频。此外,通过一种量身定制的压缩方法,NeVRF 能够紧凑地表示动态场景,在实际应用中使动态辐射场更加实用。我们的实验证明了 NeVRF 在实现长时间序列渲染、顺序数据重构和紧凑数据存储方面的有效性。
Dec, 2023