May, 2024

GeoMask3D：3D 自监督点云学习的几何信息掩码选择

HTML
PDF
TL;DR我们引入了一种自监督学习的创新方法，采用一种名为GeoMask3D（GM3D）的几何信息驱动的蒙版选择策略，以提高蒙版自编码器（MAE）的效率。与传统的随机蒙版方法不同，我们的技术利用师生模型来专注于数据中的复杂区域，引导模型关注具有更高几何复杂性的区域。我们的方法还提供了一种基于特征级信息的完全到部分的特征级知识提取技术，以指导几何复杂性的预测。大量实验证实了我们方法在分类和少样本任务中相对于现有基准的卓越性能。
发现论文，激发创造
  • 点云自监督学习的掩蔽自编码器

    本文提出一种新颖的掩码自编码点云自监督学习方案，通过划分输入点云为不规则点区块和高比例随机掩码，设计了一种基于Transformer的自编码器，该方案在预训练过程中高效并且在各种下游任务中具有很好的泛化能力，包括在少样本物体分类方面表现出色。

    Mar, 2022

  • 点云自监督学习的遮掩式判别

    本研究提出了一种基于 Transformer 的具有区分性的掩码预训练框架 MaskPoint，该框架使用离散的占用值表示点云，通过简单的二元分类来代理掩盖的对象点和采样的噪声点，从而使其具有鲁棒性。该预训练模型在多个下游任务中表现优异，包括 3D 形状分类、分割和真实世界物体检测。

    Mar, 2022

  • Point-M2AE：基于多尺度掩码自编码器的分层点云预训练

    提出Point-M2AE，一种新的多层次自监督学习框架，用于使用Masked Autoencoders预训练3D点云的分层表示学习，其具有优越的性能并超过了其他完全训练的方法。

    May, 2022

  • 基于Masked-AutoEncoder的点云预训练中的3D特征预测

    通过自编码器预训练并采用使用基于注意力机制的解码器，本文在点云分析任务中表现优异，提高了点位置重建的不必要性，并还原了遮挡点的基础功能特征，包括表面法线和表面变化。

    Apr, 2023

  • GeoMAE：自监督点云预训练的掩蔽几何目标预测

    本文介绍了一种基于几何特征重建的点云表示学习框架，其中包括三个点云专有的自监督学习目标，即质心预测、表面法线估计和曲率预测。该框架采用自监督学习方法，创造有意义的任务，相互促进模型更好地推理点云的精细几何结构。通过训练后，该模型在物体检测、分割和多目标跟踪等任务上均实现了显著的表现提升。

    May, 2023

  • 自监督对抗性遮掩在3D点云表示学习中的应用

    介绍了一种新型的自对抗方法 PointCAM，用于学习 3D 点云的遮罩函数，相较于之前的方法取得了更优秀的结果。

    Jul, 2023

  • 点云自监督学习：基于三维到多视角遮蔽自编码器

    通过使用3D到多视图掩码自编码器，充分利用3D点云的多模属性，提出了一种全新的方法，这不仅丰富了模型对几何结构的理解，还利用了点云的固有多模性能，有效地改进了各种任务，包括3D对象分类、少样本学习、部分分割和3D对象检测。

    Nov, 2023

  • 通过点特征增强掩膜自编码器实现紧凑3D表示

    为了学习紧凑的 3D 表示，我们提出了一个简单而有效的 Point Feature Enhancement Masked Autoencoders (Point-FEMAE)，它主要由一个全局分支和一个局部分支组成，通过全局随机和局部块掩码策略获得的全局和局部未经掩码的补丁提取点特征，然后使用特定的解码器进行重构，同时，为了进一步增强局部分支中的特征，我们提出了一个局部增强模块，使用局部补丁卷积方法感知更大尺度上的细粒度局部上下文。

    Dec, 2023

  • GS-PT：利用3D高斯点云的自监督学习进行全面理解

    本研究解决了现有自监督点云学习在数据多样性和特征学习增强方面的不足。提出的GS-PT方法首次将3D高斯点云整合到自监督学习中，利用变压器及新型对比学习任务，显著提升了模型的表现，尤其在3D物体分类和少样本学习等下游任务中优于传统方法。

    Sep, 2024

  • 三重点遮罩

    这项研究解决了现有三维遮罩学习方法在数据有限时性能瓶颈的问题。提出的三重点遮罩方案（TPM）引入了中等和低遮罩两个额外的选择，增强了模型的多遮罩学习能力，使其在细致恢复过程中更加灵活准确。实验表明，使用TPM的基线模型在多种下游任务上表现显著提升。

    Sep, 2024