CVPRMar, 2020

D3Feat：3D 局部特征的密集检测与描述的联合学习

PDF
TL;DR本文提出了一种新型实用的学习机制，利用三维全卷积网络，旨在稠密地预测每个三维点的检测分数和描述特征，并通过自监督的检测器损失，在训练过程中指导即兴的特征匹配结果。最后，我们的方法在 3DMatch 和 KITTI 数据集的室内和室外场景中，均取得了最先进的结果，并在 ETH 数据集上展现了其强大的概括能力，为实现准确快速的点云对其，提出了一种可靠的特征检测器。
point cloud3d feature detectorconvolutional networkfeature matchingpoint cloud alignment
发现论文，激发创造
  • 3DFeat-Net: 基于弱监督的点云局部 3D 特征匹配

    本文提出 3DFeat-Net 算法，利用弱监督学习 3D 特征检测器和描述符，通过对齐和注意机制学习 GPS/INS 标记的 3D 点云的特征对应关系，无需显式指定匹配点群，实验表明其在室外重力对齐数据集上取得了最优表现。

    Jul, 2018

  • P2-Net：针对像素和点匹配的局部特征描述和检测的联合方法

    提出了一个双重完全卷积框架，用于建立 2D 图像和 3D 点云之间的精细对应关系，以直接匹配像素和点，并实现了室内视觉定位的任务中领先的最优结果。

    Mar, 2021

  • DH3D: 深度分层三维描述子在鲁棒大规模六自由度重定位中的应用

    本研究提出一种新方法，在大规模点云中实现位置重定位，通过使用 Siamese 网络同时学习全局场景识别和本地六度姿态细化算法来生成全球描述符，并通过有效的注意力机制聚合本地描述符，实现同时获得本地和全局 3D 描述符，实验表明，本方法在全球点云检索和本地点云对比方面比现有技术实现的结果更具竞争力。

    Jul, 2020

  • HD2Reg: 点云配准的层次结构描述符与检测器

    本文提出了一种框架，该框架明确提取双层描述符和检测器，并与之进行粗糙到精细的匹配，以达到准确和鲁棒的点云配准。实验表明该方法的效果优于其他基于关键点的方法。

    May, 2023

  • D3Former: 通过显著性引导的 Transformer 共同学习可重复的稠密探测器和特征增强描述符

    通过引入一种名为 D3Former 的基于显著性引导的变换器模型，联合学习可重复的稠密检测器和增强特征的描述符，实现了准确匹配点云问题的关键步骤，实验证明该方法在室内和室外基准测试中始终优于最先进的点云匹配方法。

    Dec, 2023

  • 2D3D-MatchNet：学习在 2D 图像和 3D 点云之间匹配关键点

    本研究提出了一种名为 2D3D-MatchNet 的深度网络结构，能够直接从图像和点云中的 2D 和 3D 关键点描述符中匹配和建立 2D-3D 对应关系，并用于视觉位姿估计，结果表明该方法是可行的。

    Apr, 2019

  • 学习产生半密集对应关系进行视觉定位

    在夜间场景、恶劣天气和季节变化等苛刻条件下进行视觉定位是一项具有挑战性的任务。本研究提出了一种新颖的定位方法，通过提取可靠的半稠密的 2D-3D 匹配点来改进相机位姿估计的准确性，即使在噪声场景中也能取得显著的成果。

    Feb, 2024

  • D2-Net: 一个可训练卷积神经网络，用于局部特征的联合检测和描述

    本文提出了一种使用卷积神经网络在像素级别取得可靠对应的方法，该模型可以同时作为密集特征描述符和特征检测器，并且在后期检测可以获得比传统低级结构的更稳定的关键点，从而实现了在无法获取更多注释信息的情况下训练该模型，该方法可以在难以定位的数据集（Aachen Day-Night localization dataset）和室内定位测试基准（InLoc indoor localization benchmark）中获得最先进的表现，同时在其他图像匹配和 3D 重建基准测试中也有竞争力。

    May, 2019

  • KDD-LOAM：基于联合学习的关键点检测器和描述符辅助 LiDAR 里程计和地图构建

    稀疏关键点匹配改善了点云配准的效率和稳健性。该研究提出了一种基于多任务全卷积网络和概率检测损失的紧密耦合的关键点检测器和描述子 (TCKDD)，并通过自监督学习实现描述子的全面自适应及关键点检测器的优化。在室内和室外数据集上的大量实验证明，TCKDD 在点云配准中取得了最先进的性能。此外，我们设计了一个关键点检测器和辅助 LiDAR 里程计与建图框架 (KDD-LOAM)，其实时里程计依赖于基于关键点描述子匹配的 RANSAC。稀疏关键点进一步用于高效的扫描至地图配准和建图。在 KITTI 数据集上的实验证明，KDD-LOAM 明显优于 LOAM，在里程计方面表现出有竞争力的性能。

    Sep, 2023

  • VR3Dense: 用于三维物体检测和单目密集深度重建的体素表示学习

    介绍了一种联合训练 3D 目标检测和单目稠密深度重建神经网络的方法，通过 LiDAR 点云和单个 RGB 图像生成物体姿态预测和密集重建深度，其中 LiDAR 点云被转换为一组体素并使用 3D 卷积层提取特征，通过另一个 2D 卷积神经网络提取相应的 RGB 图像特征，并使用这些组合特征来预测密集深度图。

    Apr, 2021