基于稀疏视图的通用对象级映射与3D扩散先验
该文利用不同层次的位置先验信息从输入的深度图中提取详细的局部信息并进行组合,从而改进了新颖形状的泛化能力,具有更好的泛化性能。
Apr, 2021
提出了一种新的基于几何和光学的三维地图制图方法,利用稠密单目SLAM和实时分层体积神经辐射场技术,通过提供估计准确的位姿和深度图的相关不确定性,实时适应神经辐射场的场景。通过采用提出的基于不确定性的深度损失,实现了良好光学和几何精度,在实时和单目成像的情况下比竞争方法更精确(最高提高179%的PSNR和86%的L1深度)。
Oct, 2022
本文提出了一种称为SSDNeRF的新方法,它使用表达能力强的Diffusion Model从多视图图像中学习神经辐射场(NeRF)的可推广先验,实现3D重建和先验学习的同时, 证明了该方法在无条件生成和单/稀疏视图3D重建等任务上具有与任务特定方法媲美或优于其的鲁棒性结果。
Apr, 2023
Sparse3D是一种针对稀疏视角输入的新型三维重建方法,通过从强大的图像扩散模型提取2D先验,使得我们的综合模型在面对开放世界对象时仍能始终保持高质量的结果,并借助C-SDS技术来增强细节,实验证明了我们的方法在NVS和几何重建方面优于之前的最先进工作。
Aug, 2023
提出一个基于学习生成模型和概率不确定性优化框架的方法,用于在没有对象CAD模型的情况下进行高质量的未知对象的三维重建和定位,并且通过引入形状和姿态的不确定性,得到了能够准确反映对象地图错误的姿态和形状不确定性。
Sep, 2023
我们提出了一种可伸缩的无监督面向对象中心的3D场景表示学习方法,通过学习在局部对象坐标系统中视角不变的3D对象表示,从而推断和维护3D场景的对象中心表示,并优于以前的模型。
Sep, 2023
通过引入概率模型和扩散方法,该研究提出了一种能够解决类别级别姿态估计问题的方法,并通过测试在真实数据集上展示了该方法的有效性和出色的泛化能力。
Feb, 2024
我们将来自未知姿态的多视图重建问题作为一个生成建模问题。通过一组未标注的场景的2D图像,我们的方法同时学习了一个网络来预测从2D图像输入中的相机姿态,并学习了用于3D场景的神经辐射场(NeRF)的参数。通过在标准去噪目标下使用去噪扩散概率模型(DDPM)将姿态预测网络和NeRF结合在一起并训练系统来推动学习进展。我们的框架要求系统通过预测图像的姿态并渲染NeRF来完成去噪输入2D图像的任务。学习去噪因此迫使系统同时学习底层的3D NeRF表示和从图像到摄像机外参数的映射。为了促进后者,我们设计了一个自定义的网络架构来将姿态表示为一个分布,从而在仅进行去噪训练时具备发现视图对应关系的隐式能力。这种技术允许我们的系统成功构建NeRFs,并在竞争方法失败的具有挑战性的场景中使用。在训练结束时,我们学习到的NeRF可以被提取并用作3D场景模型;我们的完整系统可以用于采样新的相机姿态并生成新的视角图像。
Jun, 2024
本研究探讨了神经辐射场(NeRF)与基于高斯的方法在3D场景重建中的能力,针对传统的同步定位与地图构建(SLAM)系统进行了对比。研究发现,尽管NeRF在视图合成上表现优异,但处理速度较慢,而高斯方法则提供快速处理但场景完善性不足,对3D场景重建的未来发展具有重要的实际意义。
Aug, 2024