DeepTAM: 深度跟踪与建图
利用深度学习,我们提出了一种基于时间的 6 自由度跟踪方法,可在具有挑战性的真实世界数据集中实现最先进的性能,具有比现有最佳方法更准确、更鲁棒的抗遮挡性能,同时保持实时性能。在评估其效力时,我们在几个具有挑战性的 RGBD 序列上进行了评估,并通过一系列对象逐渐被遮挡的序列系统地评估了对遮挡的鲁棒性。最后,我们的方法完全是数据驱动的,不需要任何手动设计的特征:鲁棒跟踪是自动从数据中学习的。
Mar, 2017
介绍了实时单目跟踪和稠密建图框架 TANDEM,利用全局模型渲染的深度图进行密集直接图像对齐和 3D 成本聚合,融合为一致的全局地图,表现出优异的相机跟踪和 3D 重建表现。
Nov, 2021
本文提出了一种用于估计一致密集深度图和相机姿态的算法,该算法基于学习的深度先验和几何优化相结合,不需要输入相机姿态,并能够在包括噪声、抖动、运动模糊和卷帘快门失真等多种挑战性条件下实现稳健的重建。
Dec, 2020
我们的方法通过在网络中添加最新的 3D 几何数据作为额外输入,结合之前的几何提示,利用深度和 3D 场景重建领域中的先前工作,实现了与实时交互速度相比达到最先进的深度估计和场景重建。
Jun, 2024
我们提出了一种实时的基于视觉惯性的稠密建图方法,可使用顺序单眼图像和惯性测量单元(IMU)读数进行增量式三维网格重建,并提出了稀疏点辅助的多视角深度学习神经网络 (SPA-MVSNet),即使在噪声密集的情况下也能实现高质量的 3D 网格重建。
Jun, 2023
该研究提出了一种基于深度学习的统一框架,通过将相机视频、运动传感器(GPS/IMU)和三维语义地图进行传感器融合,以实现自主驾驶、自我定位和场景分类等多个应用领域中场景解析和相机姿态同时处理的目的。研究使用的技术包括渲染技术,使用相机姿态和三维语义地图生成标注地图,并在深度神经网络中进行联合训练,以提高姿态估计精度。该研究表明,相较于单一传感器,传感器融合对于目标跟踪及姿态估计具有更高的鲁棒性和准确性。
May, 2018
本文提出了一种名为 DeepIM 的新型深度神经网络用于 6D 姿态匹配,通过迭代地匹配渲染图像和观察图像,通过使用 3D 位置和 3D 方向的松散表示以及迭代训练过程来预测相对姿态变换,实验证明 DeepIM 在 6D 姿态估计方面具有比现有方法更好的表现,并且可用于匹配以前未见过的物体。
Mar, 2018
本文介绍了一种仅使用少量 Kinect 传感器进行无标记动作捕捉的高效且廉价方法,通过使用最近的图像分割技术和纯合成数据进行课程学习,实现了对身体各部位的准确本地化并且无需使用显式形状模型。同时,我们介绍了一个包含约 6 百万合成深度帧的新数据集,并超过了 Berkeley MHAD 数据集的最新结果。
May, 2016
本篇文章提出了一种用于稀疏视觉 SLAM 系统的新型稠密建图框架,它基于一种紧凑的场景表示方式,可以用于机器人和增强现实等应用领域。该框架使用了变分自编码器,通过多视角优化可以改善重叠帧的一致性,对于任意度量的稀疏 SLAM 系统进行无缝集成,能够进行全局一致的稠密三维重建。
Jul, 2021
该研究提出一种基于双目内窥镜深度估计和光流的深度声明网络,通过减小两个几何损失优化相机姿态估计,并且引入了两个自适应的像素权重映射来平衡贡献,实现在挑战性的内窥镜手术场景中更加鲁棒的相机姿态估计,具有推进微创外科领域相关任务(如 SLAM 或 3D 重建)的研究意义。
Apr, 2023