GeoTransfer:通过迁移学习实现可泛化的少样本多视图重建
提出了 MVSNeRF,这是一种新颖的神经渲染方法,可以通过快速网络推理从仅三个附近输入视图重建辐射场,利用平面扫描代价体进行几何感知场景推理,并将其与基于物理的体积渲染相结合,能够横跨场景(甚至是室内场景)泛化,并仅使用三个输入图像生成逼真的视图合成结果,比类似工作在可推广的辐射场重建方面表现显著优越。
Mar, 2021
NeRFusion 提出了一种方法,通过将 NeRF 和 TSDF-based fusion 技术结合起来,实现了大规模室内场景的高效重建和逼真渲染,使用全新的循环神经网络来递增地重建实时稀疏场景表示,进一步提高了渲染质量,取得了大规模室内和小型物体场景的最先进质量,并比 NeRF 和其他最新方法重建速度更快。
Mar, 2022
SparseNeuS是一种基于神经渲染的表面重建方法,采用有符号距离函数(SDF)作为表面表示,通过几何编码体引入图像特征的通用先验知识进行预测,在利用稀疏视图进行高质量重建时采用了多级几何推理框架、多尺度颜色融合方案和一致性感知微调。实验证明了该方法在速度、泛化性能和灵活性方面均表现出优越性。
Jun, 2022
MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化,以提高所估计表面的质量。实验结果表明,该方法可以从图像中获取干净的三维网格,同时在新视角合成方面具有竞争力的表现。
Oct, 2022
在高保真度3D场景重建方面,神经场的最新进展已经有了实质性的提升。然而,大多数现有方法为每个独立场景训练单独的神经网络,这不可扩展、低效且对有限视角下的结果不理想。本研究引入了训练可推广的神经场,将场景先验结合其中,从而更好地解决上述问题,并支持单张图像的新视角合成。
Sep, 2023
本文提出了一种从稀疏多视角图像重建三维场景和对象的新方法,通过利用嵌入在多视角输入中的场景属性,创建精确的伪标签进行优化,而无需任何先验训练。我们的方法通过利用球谐函数来预测场景中点的新辐射,综合考虑所有颜色观察结果,从而提高稀疏视图的表面重建准确性。同时,我们的方法通过代理几何和正确处理遮挡来生成辐射的伪标签,避免了以往的图像变形方法的问题。我们的方法在DTU和Blender数据集上取得了优越的结果,而无需先前的训练,展示了其在解决稀疏视图重建问题方面的有效性。我们的流程灵活且可集成到其他稀疏视图的隐式神经重建方法中。
Oct, 2023
ZeroRF是一种新颖的针对稀疏观测360度重构在神经场表示中的场景优化方法,通过在分解的NeRF表示中集成定制的深度图像先验,实现了高质量、高效率的稀疏观测360度重构,具有优于现有方法的性能。
Dec, 2023
提出了一种新型的泛化神经辐射场(NeRF)范式,通过基于点而非基于图像的渲染构建了可泛化的神经场,称之为可泛化神经点场(GPF)。该模型通过显式建模可见性并将其与神经特征相结合,提出了一种非均匀取样策略以提高渲染速度和重构质量,并利用特征增强的可学习内核在具有差异性几何结构的区域缓解形变。该研究表明,相比于其他方法和基准数据集,该模型在三个数据集上无论在泛化还是微调设置下,都能提供更好的几何形状、视角一致性和渲染质量,初步证明了该新范式在泛化NeRF中的潜力。
Jan, 2024
Generalizable NeRF通过建立基于方差的代价体来重建几何结构并通过编码解码来生成新的视图,引入自适应代价聚合、空间-视图聚合和一致性感知融合等方法来改进现有方法在复杂条件下的性能。
Apr, 2024
本研究解决了可泛化神经渲染在特定场景细节表现不足的问题,提出了一种几何驱动的多参考纹理转移网络(GMT)作为可插拔模块,增强了现有的G-NeRF模型。研究表明,该模块通过引入光线施加的可变形卷积和纹理保留变换器,改善了图像增强过程中的像素间直接交互,从而有效捕捉高频细节,显著提升了模型在各基准数据集上的表现。
Oct, 2024