FrozenRecon:基于冻结深度模型的无姿态三维场景重建
本文提出了一种深度估计的训练方法,利用多种不同来源的数据集和多目标学习来提高训练效果,同时跨数据集的测试结果表明该方法优于竞争方法并取得了深度估计领域的最新成果。
Jul, 2019
本文提出了一种新的方法,可以从动态场景的一组图像中合成任意视角和时间的图像,通过单视图深度(DSV)和多视图立体深度(DMV)的结合,重新估计视角和时间下的一致性和深度信息,从而精确的合成真实感极强的虚拟视图。
Apr, 2020
通过利用传统的运动结构恢复来建立视频中像素的几何约束,使用基于学习的先验——一种单图像深度估计的卷积神经网络,我们给出了一种用于重建密集、几何一致深度的算法。测试时,我们对这个网络进行微调,以满足特定输入视频的几何约束,同时保留其在视频中的其他区域中合成可信深度细节的能力。通过定量验证,我们证明了我们的方法比以前的单目重建方法有更高的准确性和更高的几何一致性。我们的算法能够处理具有轻度动态运动的挑战性手持捕获输入视频。改进重建的质量可以用于场景重建和高级视频视觉效果。
Apr, 2020
本文提出了一种用于估计一致密集深度图和相机姿态的算法,该算法基于学习的深度先验和几何优化相结合,不需要输入相机姿态,并能够在包括噪声、抖动、运动模糊和卷帘快门失真等多种挑战性条件下实现稳健的重建。
Dec, 2020
研究探讨了在混合数据深度预测训练中使用的位移不变重建损失所引起的未知深度偏移及可能的未知相机焦距问题,并设计了一个两阶段框架以实现单目图像深度预测,并使用三维点云编码器预测遗漏的深度偏移和焦距以恢复逼真的3D场景形状,本文提出了图像级标准化回归损失和基于法向几何损失的方法,以增强用混合数据集训练的深度预测模型,该深度模型在9个不可见数据集上测试并取得了零样本数据集泛化的最新性能记录。
Dec, 2020
本文介绍了名为NeuralRecon的新型框架,可实时从单目视频中重建3D场景。该系统采用基于学习的TSDF融合模块,通过神经网络直接逐个重建局部表面,从而捕捉局部平滑性先验和全局形状先验,实现高精度,连贯和实时的表面重建。实验结果表明,该系统在准确性和速度方面均优于现有的方法。这是首个能够在实时情况下重建连贯稠密3D几何模型的基于学习的系统。
Apr, 2021
提出了一种多摄像机系统来实现密集的三维重建和自我运动估计,通过多摄像机间的几何估计和单目深度优化来获得鲁棒的几何深度和姿态估计,同时通过深度优化网络引入可学习的场景先验,从而在具有挑战性的动态室外环境中实现了稠密、一致的三维重建。
Aug, 2023
通过混合数据集训练模型,预测几何保持的深度,并通过渲染重建场景的新视图以及设计损失函数,促进不同视角下深度估计的一致性,实现了对领域特定尺度和平移系数的自主恢复,优于现有最先进方法的多个基准数据集。
Sep, 2023
本研究针对现有单目视频全景3D重建方法在推理速度和准确性方面的低效问题,提出了EPRecon框架。该框架通过引入轻量级模块直接估计3D体积中的场景深度优先信息,并从体素特征和图像特征提取更丰富的全景特征,从而显著提升重建质量和分割精度。实验表明,EPRecon在全景3D重建质量和实时推理方面优于目前最先进的方法。
Sep, 2024