May, 2024

GeoMask3D：3D 自监督点云学习的几何信息掩码选择

PDF
TL;DR我们引入了一种自监督学习的创新方法，采用一种名为 GeoMask3D（GM3D）的几何信息驱动的蒙版选择策略，以提高蒙版自编码器（MAE）的效率。与传统的随机蒙版方法不同，我们的技术利用师生模型来专注于数据中的复杂区域，引导模型关注具有更高几何复杂性的区域。我们的方法还提供了一种基于特征级信息的完全到部分的特征级知识提取技术，以指导几何复杂性的预测。大量实验证实了我们方法在分类和少样本任务中相对于现有基准的卓越性能。
发现论文，激发创造
  • GeoMAE：自监督点云预训练的掩蔽几何目标预测

    本文介绍了一种基于几何特征重建的点云表示学习框架，其中包括三个点云专有的自监督学习目标，即质心预测、表面法线估计和曲率预测。该框架采用自监督学习方法，创造有意义的任务，相互促进模型更好地推理点云的精细几何结构。通过训练后，该模型在物体检测、分割和多目标跟踪等任务上均实现了显著的表现提升。

    May, 2023

  • 点云自监督学习：基于三维到多视角遮蔽自编码器

    通过使用 3D 到多视图掩码自编码器，充分利用 3D 点云的多模属性，提出了一种全新的方法，这不仅丰富了模型对几何结构的理解，还利用了点云的固有多模性能，有效地改进了各种任务，包括 3D 对象分类、少样本学习、部分分割和 3D 对象检测。

    Nov, 2023

  • 遮蔽的生成提取器：点云的协同表征与 3D 生成

    2D 图像生成建模，表示学习，Point-MAGE，点云数据，神经场表示。

    Jun, 2024

  • 基于 Masked-AutoEncoder 的点云预训练中的 3D 特征预测

    通过自编码器预训练并采用使用基于注意力机制的解码器，本文在点云分析任务中表现优异，提高了点位置重建的不必要性，并还原了遮挡点的基础功能特征，包括表面法线和表面变化。

    Apr, 2023

  • 通过点特征增强掩膜自编码器实现紧凑 3D 表示

    为了学习紧凑的 3D 表示，我们提出了一个简单而有效的 Point Feature Enhancement Masked Autoencoders (Point-FEMAE)，它主要由一个全局分支和一个局部分支组成，通过全局随机和局部块掩码策略获得的全局和局部未经掩码的补丁提取点特征，然后使用特定的解码器进行重构，同时，为了进一步增强局部分支中的特征，我们提出了一个局部增强模块，使用局部补丁卷积方法感知更大尺度上的细粒度局部上下文。

    Dec, 2023

  • Point-MA2E: 带遮蔽和仿射变换自编码器用于自监督点云学习

    本论文提出了一种基于 Masked 和 Affine 变换的自我监督点云学习模型，通过在输入中添加 Affine 变换和掩模来损坏点云并使用编码器 - 解码器模型重建完整点云，实验证明其在对象分类、小样本学习、鲁棒性测试、部件分割和 3D 对象检测等方面有效。

    Nov, 2022

  • MeshMAE: 用于三维网格数据分析的遮罩自编码器

    本文探讨了将自监督预训练用于基于 transformers 的 3D 网格数据分析的学习范式，并首先将 Vision Transformer 适应到 3D 网格数据处理中，即 Mesh Transformer，并通过 MAE 的启发，在 3D 网格数据上进行自学习，提出了 MeshMAE 方法，可以提供 3D 网格分析任务的最新性能，并证明了我们方法中关键设计的有效性。

    Jul, 2022

  • PiMAE: 基于点云和图像的交互式遮罩自编码器用于 3D 物体检测

    本文提出了 PiMAE，一个自我监督的预训练框架，旨在通过三个方面促进 3D 和 2D 交互，以提高现有作品中的交叉模态协同作用。在 SUN RGB-D 和 ScannetV2 上进行广泛的实验后，我们发现交互式学习点 - 图像特征是不平凡的，并通过 2.9％，6.7％和 2.4％显着提高了多个 3D 检测器，2D 检测器和少样本分类器。

    Mar, 2023

  • GD-MAE：基于 MAE 预训练的 LiDAR 点云生成解码器

    本文提出了一种基于生成解码器的 Masked Autoencoders（GD-MAE）方法用于自动合并周围上下文信息，以恢复多层次融合遮蔽几何知识的三维点云，能在保持良好性能的情况下探索各种遮蔽策略，且实验结果表明该方法在多个大单元基准上均有一致的效果提升与强鲁棒性与泛化能力。

    Dec, 2022

  • Point-M2AE：基于多尺度掩码自编码器的分层点云预训练

    提出 Point-M2AE，一种新的多层次自监督学习框架，用于使用 Masked Autoencoders 预训练 3D 点云的分层表示学习，其具有优越的性能并超过了其他完全训练的方法。

    May, 2022