Mar, 2023

点云异常检测的互补拟合多模态特征

PDF
TL;DR本研究旨在通过将手工制作的 PCD 描述符与强大的预训练 2D 神经网络相结合，提高点云异常检测性能，提出了全面的伪多模特征（CPMF），通过使用手工制作的 PCD 描述符将 3D 模态中的局部几何信息与生成伪 2D 模态中的全局语义信息相结合，展示了 2D 和 3D 模态特征之间互补的能力和 CPMF 的有效性。
point cloud anomaly detectionhandcrafted pcd descriptors2d neural networkscomplementary pseudo multimodal feature (cpmf)global semantic information
发现论文，激发创造
  • 基于混合融合的多模态工业异常检测

    本文提出了一种基于 3D 点云和 RGB 图像的新型多模式异常检测方法 M3DM，其中采用了无监督特征融合、决策层融合和点特征对齐等技术，实验表明该方法优于现有的同类方法。

    Mar, 2023

  • 多模态工业异常检测通过交叉模态特征映射

    这篇论文探讨了工业多模态异常检测任务，利用点云和 RGB 图像来定位异常。我们介绍了一种新颖且快速的框架，它学习将一个模态中的特征映射到另一个模态的正常样本上。在测试时，通过定位观察到的特征和映射特征之间的不一致性来检测异常。大量实验证明，我们的方法在 MVTec 3D-AD 数据集的标准和少样本设置中实现了最先进的检测和分割性能，同时实现了更快的推理速度和更低的内存占用，优于先前的多模态异常检测方法。此外，我们提出一种层裁剪技术，在性能上略有损失的同时提高了内存和时间效率。

    Dec, 2023

  • 利用图像获取更多信息：点云跨模态训练用于形状分析

    本文介绍了一种称为 PointCMT 的简单而有效的点云交叉模态训练策略，通过使用视图图像（即三维对象的渲染或投影的二维图像）来促进点云分析，进而更好地实现了三维点云表征。 实验证明，PointCMT 有效地改进了点云的表示方法，在不修改架构的情况下，基于 PointCMT 的模型在 ModelNet40 和 ScanObjectNN 等各种数据集上均实现了最先进的性能。

    Oct, 2022

  • 多模态多层次融合的三维单目标跟踪

    提出 MMF-Track，一种多模态多级融合跟踪器，利用点云的几何和图像纹理特征跟踪 3D 目标，在 KITTI 上实现了最先进的性能表现，并在 NuScenes 上具有竞争力。

    May, 2023

  • 跨模态建议引导的特征挖掘用于未注册的 RGB - 热红外行人检测

    通过提出跨模态提案引导特征挖掘机制和双流密集检测器，本研究解决了 RGB-T 行人检测中由于未对齐图像对导致的跨模态互补和未对齐行人的识别等问题，并通过数据增强方法和非极大值抑制方法进一步提高了方法的有效性和鲁棒性。

    Aug, 2023

  • PointCore: 高效的无监督点云异常检测器，利用局部 - 全局特征

    提出了一个基于联合局部 - 全局特征、命名为 PointCore 的无监督点云异常检测框架，它仅需一个存储器来保存局部和全局表示，并为这些局部 - 全局特征分配不同的优先级，从而降低了计算复杂性和推理中的匹配干扰。通过引入归一化排名方法来抵抗异常值，调整不同尺度的值以达到概念上的公共尺度，并将密集分布的数据转化为均匀分布。在 Real3D-AD 数据集上的广泛实验表明，与现有方法 Reg3D-AD 和其他竞争方法相比，PointCore 在检测和定位方面不仅具有竞争力的推理时间，还具有最佳性能。

    Mar, 2024

  • P2-Net：针对像素和点匹配的局部特征描述和检测的联合方法

    提出了一个双重完全卷积框架，用于建立 2D 图像和 3D 点云之间的精细对应关系，以直接匹配像素和点，并实现了室内视觉定位的任务中领先的最优结果。

    Mar, 2021

  • CPCM: 弱监督下的点云语义分割的上下文点云建模

    通过在三维点云中应用稀疏的标注以降低标注成本，本文提出了一种弱监督点云语义分割的上下文建模方法，包括区域遮罩策略和上下文遮罩训练方法，并在 ScanNet V2 和 S3DIS 基准测试中展示了其优越性。

    Jul, 2023

  • 一个广义的多模型融合检测框架

    本文提出了一种名为 MMFusion 的多模态 3D 检测框架，以在复杂场景中实现 LiDAR 和图像的准确融合，通过实验证明，该框架不仅优于现有基准，而且尤其适用于在 KITTI 基准上检测骑自行车和行人。

    Mar, 2023

  • 三维物体检测的同质多模态特征融合与交互

    本研究提出了一种基于均质结构和自注意力机制的多模态特征融合和交互方法，通过将相机特征转换为 LiDAR 3D 空间，在避免项目信息丢失的同时增强了在复杂背景下的鉴别能力，在 KITTI 基准中超越了所有已发表的算法。

    Oct, 2022