使用带引导的稀疏特征体积融合从单目视频中增量稠密重建
本文介绍了名为 NeuralRecon 的新型框架,可实时从单目视频中重建 3D 场景。该系统采用基于学习的 TSDF 融合模块,通过神经网络直接逐个重建局部表面,从而捕捉局部平滑性先验和全局形状先验,实现高精度,连贯和实时的表面重建。实验结果表明,该系统在准确性和速度方面均优于现有的方法。这是首个能够在实时情况下重建连贯稠密 3D 几何模型的基于学习的系统。
Apr, 2021
提出了一种名为 VisFusion 的可见性感知在线 3D 场景重建方法,通过对单目视频进行姿态估计来恢复场景的体量特征,并提出了细节保留的局部稀疏化方法和分层预测 TSDF 的方法,实验结果表明我们的方法能够获得卓越的性能。
Apr, 2023
我们提出了一种实时的基于视觉惯性的稠密建图方法,可使用顺序单眼图像和惯性测量单元(IMU)读数进行增量式三维网格重建,并提出了稀疏点辅助的多视角深度学习神经网络 (SPA-MVSNet),即使在噪声密集的情况下也能实现高质量的 3D 网格重建。
Jun, 2023
本文介绍了一种利用深度神经网络复制传统的 local depth maps calculation 和 global depth maps fusion 两步骤框架,以改善对 3D 场景重建精度和可解释性的计算机视觉任务方法。此外,作者还提出了一种称为 PosedConv 的旋转不变的 3D 卷积核,用于提高从非常不同视角获取的图像之间的匹配效率。作者在 ScanNet 数据集上进行了大量实验证明提出的方法在深度神经网络和传统计算机视觉技术中具有竞争力。
Aug, 2021
通过利用内在分解指导、瞬态 - 单模先验指导和视图增强来解决光照不一致、几何不对齐和视图稀疏等问题,我们提出了一种新的 3D 重构框架,该框架能够将多视图图像生成与神经网络基于体积有符号距离函数的单一图像到 3D 对象重建相结合。在各种数据集上评估我们的方法,并在定量和定性评估中展示了其卓越性能,从而在 3D 物体重建方面取得了显著的进展。与最新的最先进方法 Syncdreamer 相比,我们将 Chamfer 距离误差降低了约 36%,将 PSNR 提高了约 30%。
Jan, 2024
通过结合多视角全景图像、鲁棒的相机位姿估计、先进的图像处理以及点云密度化、网格重建和纹理生成等技术,本论文提出了一个增强型的多视角立体重建框架,显著提高了传统方法的准确性和精度,在处理遮挡和视角变化的复杂场景重建方面表现出了优异的计算效率和鲁棒性,对于实时处理和可扩展性要求高的情况,可以与当前最先进的神经隐式场方法相竞争甚至超越。
Jun, 2024
研究使用 “符号距离函数” 结合 “稀疏体素块网格” 等算法实现室内场景的平面重建,相较于常规算法在训练与渲染速度上有数量级的提升,同时保持与现有方法相当的精度。
May, 2023
本篇论文提出了一种基于神经隐式表达和神经渲染的双层神经体积融合方法,用于增量式地将新的深度图像融合到全局神经隐式表示中,以实现密集的 3D 重建,评估表明此方法在多个数据集上均得到了显著的改进。
Apr, 2022
这篇论文研究了增量场景重建,在提出的混合体素 - 八叉树方法中,利用了隐式表面和显式三角网格表示,以实现快速准确地重建具有逼真颜色的场景。
Apr, 2024
3DVNet 是一种结合了先前基于深度和体积的 MVS 方法优点的新型多视图立体 (multi-view stereo) 深度预测方法,使用基于体积的三维卷积神经网络来对所有深度图进行操作,并能够学习有意义的场景级先验知识,其在深度预测和 3D 重建度量上均超越了现有技术,证明该方法在新的环境下具有很好的效果和通用性。
Dec, 2021