3DMatch: 从 RGB-D 重建学习局部几何描述符
本文提出了一种新方法来学习本地跨域描述符,以进行 2D 图像和 3D 点云匹配,该方法是一个双自编码器神经网络,将 2D 和 3D 输入映射到共享潜在空间表示中,其共享嵌入中的局部跨域描述符比在 2D 和 3D 域中单独训练获得的描述符更具有区分度。
Nov, 2019
采用卷积自编码器在大量随机局部补丁上训练回归描述符,将场景补丁描述符与合成模型视图补丁的数据库进行匹配,并投票生成 6D 对象,结果在三个数据集上表现良好,具有标准检测结果并超过其竞争对手的鲁棒性。
Jul, 2016
通过融合 2D 纹理和 3D 几何线索的通用方法 MatchU 实现了对未见过的物体的 6D 位姿估计,并通过编码面向位姿的几何结构和融合 RGB 信息的注意力机制来解决模糊关联问题,无需昂贵的重新训练或渲染,在准确性和速度方面超过了所有现有方法。
Mar, 2024
本论文提出了一种基于端到端学习框架的关键点检测及其表示的方法,以适应于三维深度地图或扫描,通过采样相应的区域提案实现正负样本的自动获取,并在多个基准数据集上进行匹配实验,表明该方法相对于现有方法具有明显的改进。
Feb, 2018
本研究提出了一种名为 2D3D-MatchNet 的深度网络结构,能够直接从图像和点云中的 2D 和 3D 关键点描述符中匹配和建立 2D-3D 对应关系,并用于视觉位姿估计,结果表明该方法是可行的。
Apr, 2019
提出了一种基于三维点云的全工作流程,利用卷积神经网络和全卷积层来匹配三维点云,利用兴趣点体素化光滑密度值 (SDV) 表示,从而实现旋转不变性,并在 3DMatch 基准数据集上取得了 94.9% 的平均召回率,性能比同类方法提高了 20% 以上,同时实现了高效的近实时的对应点搜索。
Nov, 2018
介绍了一种用于检测 SLAM 重建中共面表面的新型 RGB-D 补丁描述符,该方法的核心是一个深度卷积神经网络,它接受图像中平面贴片的 RGB、深度和法线信息,并输出可用于从其他图像中找到共平面贴片的描述符。我们在 1000 万个共面和非共面补丁的三元组上训练网络,并在从商品 RGB-D 扫描创建的新共面基准上进行评估。实验表明,我们学习的描述符在这项新任务中比已有的替代方案表现更好。此外,我们证明了共面匹配在稳健的 RGBD 重建公式中的优点。我们发现,使用我们的方法检测到的共面约束足以在大多数场景中获得可与现有的最先进框架相媲美的重建结果,但与简单的关键点方法相结合时,在标准基准测试上超过了其他方法。
Mar, 2018
本文提出了一种新型实用的学习机制,利用三维全卷积网络,旨在稠密地预测每个三维点的检测分数和描述特征,并通过自监督的检测器损失,在训练过程中指导即兴的特征匹配结果。最后,我们的方法在 3DMatch 和 KITTI 数据集的室内和室外场景中,均取得了最先进的结果,并在 ETH 数据集上展现了其强大的概括能力,为实现准确快速的点云对其,提出了一种可靠的特征检测器。
Mar, 2020
本文提出一种新颖的基于几何约束的局部描述符学习方法 ——GeoDesc,旨在改善学习局部描述符在图片三维重建中的泛化性能不足的问题。结果表明,GeoDesc 在各种大型基准测试中表现出优异的性能,并在具有挑战性的重建任务中显著成功。此外,本文提供了在 SfM 流水线中实际集成学习描述符的指南,展示了 GeoDesc 在精度和效率之间能够提供的良好平衡。
Jul, 2018
该研究提出了使用深度学习的 CNN 网络以及不同层次的特征图来进行几何匹配的任务,并相较于先前的手动特征点描述方法,展示了更佳的匹配结果。
Mar, 2018