生活场景:多目标重定位和重建在不断变化的3D环境中
本文提出了 RIO10 基准测试和工具,用于评估室内场景下长期相机重新定位的表现,并探讨了不同类型场景变化对不同方法的影响,并发现长期室内重新定位是一个尚未解决的问题。
Aug, 2020
本篇论文介绍了一种基于深度学习和连续变换函数的方法进行4D形状重建,使用一个鲁棒的时空形状表征方法来视觉化地表达这些形状并通过动力学模型对其进行建模,实现了四维人体重建。
Mar, 2021
提出了一种无需建立场景特定三维地图的场景单图参考图像重定位技术,并通过对世界范围内的小型艺术品,如雕塑、壁画和喷泉的构建新数据集,测试了现有算法的可行性及基准结果,并发现无地图重定位仍需新型创新技术的挑战。
Oct, 2022
本文介绍了一种学习基础的视觉重定位系统,利用无场景特异性特征骨干和场景特异性预测模型,结合多点并行迭代训练来提高定位精度,并使用反投影损失替代复杂的末端到末端训练过程,从而提高训练速度,而且优于最先进的场景坐标回归方法。
May, 2023
本文介绍 Habitat Synthetic Scene Dataset 数据集,并使用该数据集测试导航代理在逼真的三维环境中的泛化能力,研究合成 3D 场景数据集规模和真实性对于训练全方位代理寻找和导航至目标对象的影响,表明在保证场景真实性的前提下规模优势逐渐缩小,数据量更小的数据集在零样本泛化方面有优势。
Jun, 2023
我们研究了3D注册问题的一个变种,名为多模型3D注册。在多模型注册问题中,我们给出两个描绘了不同姿态下一组物体(可能包括属于背景的点)的点云,并且我们希望同时重建出这两个点云之间所有物体的运动。该方法通用于标准的3D注册,其中需要重建出单个姿态,例如传感器描绘静态场景的运动。此外,它为相关的机器人应用提供了数学上的基础,例如,机器人上的深度传感器感知动态场景,并且目标是在同时恢复出自身的运动(从静态部分场景中)以及所有动态物体的运动。我们假设一个基于对应关系的设置,在两个点云之间存在着匹配关系,同时考虑了这些对应关系受到异常值干扰的实际情况。然后,我们提出了一种基于期望最大化(Expectation-Maximization)的简单方法,并建立了EM方法收敛到真实结果的理论条件。我们在从桌面场景到自动驾驶场景的模拟和实际数据集上评估了该方法,并证明其与最先进的场景流方法相结合时的有效性。
Feb, 2024
我们研究了通过实体巡游进行的3D多目标重新识别任务,提出了3D Semantic MapNet (3D-SMNet)模型,它包括一个操作于RGB-D视频的3D物体检测器和一个可微的物体匹配模块,通过生成的实验和真实数据的联合训练,在真实世界的重新布置场景中取得了显著的改进。
Mar, 2024
本研究解决了在三维颜色地图中有效进行视觉定位的问题,提出了一种跨模态全球视觉定位系统。通过点云、网格和神经辐射场(NeRF)三种最新方法生成的数据库,本系统能够在多种环境中实现超过55%的定位成功率,其中NeRF合成图像的平均成功率达到72%,显示出其在全球定位中的潜在应用价值。
Aug, 2024