CVPRDec, 2022

GD-MAE：基于 MAE 预训练的 LiDAR 点云生成解码器

PDF
TL;DR本文提出了一种基于生成解码器的 Masked Autoencoders（GD-MAE）方法用于自动合并周围上下文信息，以恢复多层次融合遮蔽几何知识的三维点云，能在保持良好性能的情况下探索各种遮蔽策略，且实验结果表明该方法在多个大单元基准上均有一致的效果提升与强鲁棒性与泛化能力。
masked autoencoders3d point cloudsgenerative decoderhierarchical fusionlarge-scale benchmarks
发现论文，激发创造
  • GeoMAE：自监督点云预训练的掩蔽几何目标预测

    本文介绍了一种基于几何特征重建的点云表示学习框架，其中包括三个点云专有的自监督学习目标，即质心预测、表面法线估计和曲率预测。该框架采用自监督学习方法，创造有意义的任务，相互促进模型更好地推理点云的精细几何结构。通过训练后，该模型在物体检测、分割和多目标跟踪等任务上均实现了显著的表现提升。

    May, 2023

  • Point-M2AE：基于多尺度掩码自编码器的分层点云预训练

    提出 Point-M2AE，一种新的多层次自监督学习框架，用于使用 Masked Autoencoders 预训练 3D 点云的分层表示学习，其具有优越的性能并超过了其他完全训练的方法。

    May, 2022

  • 基于 Masked-AutoEncoder 的点云预训练中的 3D 特征预测

    通过自编码器预训练并采用使用基于注意力机制的解码器，本文在点云分析任务中表现优异，提高了点位置重建的不必要性，并还原了遮挡点的基础功能特征，包括表面法线和表面变化。

    Apr, 2023

  • T-MAE：用于点云表示学习的时态掩码自动编码器

    在户外点云分割中，基于转换器等先进网络的建模能力受制于标注数据的稀缺性。为了更好地利用点云序列中蕴含的时间信息，本文提出了一种有效的预训练策略，即时序遮蔽自动编码器 (Temporal Masked AutoEncoders, T-MAE)，通过输入与时间相关的相邻帧并学习时间依赖关系。T-MAE 预训练策略结合了 SiamWCA 骨干网络，其中包含了孪生编码器和基于窗口的交叉注意力模块 (window-based cross-attention, WCA)，用于接收两帧输入。此外，为了提高目标对象的理解能力，时间建模还作为一种稳健且天然的数据增强方法，在同一对象的不同帧之间考虑自车运动改变的照明角度。通过使用遥远的历史帧而非连续帧，可以更加成本有效且强大。在自监督学习方法中，利用 T-MAE 预训练策略在 Waymo 数据集上实现了最佳性能。通过全面实验验证了本提案的所有组成部分。在接受后，源代码将会公开。

    Dec, 2023

  • 无感知，更高效产出：用掩码自编码器预训练 LiDAR 感知以实现超高效 3D 感知

    通过提出低成本 LiDAR 感知数据流、径向遮罩自编码等方法，减少能量消耗并提高预测准确性，以便在无人机器人和自主导航中节省传感器的能量和延长电池寿命。

    Jun, 2024

  • 点云自监督学习：基于三维到多视角遮蔽自编码器

    通过使用 3D 到多视图掩码自编码器，充分利用 3D 点云的多模属性，提出了一种全新的方法，这不仅丰富了模型对几何结构的理解，还利用了点云的固有多模性能，有效地改进了各种任务，包括 3D 对象分类、少样本学习、部分分割和 3D 对象检测。

    Nov, 2023

  • 回归再构造：点云自监督学习的回归自编码器

    提出了一种名为 Point-RAE 的新的自编码器方案，用于点云的自监督学习，通过引入掩码回归器，在编码器和解码器之间进行功能解耦，最小化解码器对编码器表示空间的影响，并通过对齐约束确保从可见补丁的编码表示中预测出的用于掩码补丁的表示与从编码器计算的掩码补丁表达对齐。大量实验证明该方法在预训练过程中高效，并在各种下游任务中具有良好的泛化性能。

    Sep, 2023

  • PiMAE: 基于点云和图像的交互式遮罩自编码器用于 3D 物体检测

    本文提出了 PiMAE，一个自我监督的预训练框架，旨在通过三个方面促进 3D 和 2D 交互，以提高现有作品中的交叉模态协同作用。在 SUN RGB-D 和 ScannetV2 上进行广泛的实验后，我们发现交互式学习点 - 图像特征是不平凡的，并通过 2.9％，6.7％和 2.4％显着提高了多个 3D 检测器，2D 检测器和少样本分类器。

    Mar, 2023

  • 通过点特征增强掩膜自编码器实现紧凑 3D 表示

    为了学习紧凑的 3D 表示，我们提出了一个简单而有效的 Point Feature Enhancement Masked Autoencoders (Point-FEMAE)，它主要由一个全局分支和一个局部分支组成，通过全局随机和局部块掩码策略获得的全局和局部未经掩码的补丁提取点特征，然后使用特定的解码器进行重构，同时，为了进一步增强局部分支中的特征，我们提出了一个局部增强模块，使用局部补丁卷积方法感知更大尺度上的细粒度局部上下文。

    Dec, 2023

  • LoMAE：低剂量 CT 去噪的低层次视觉遮蔽自编码器

    通过引入一种名为 LoMAE 的低水平视觉 MAE 模型，本研究展示了一种提高 transformer 去噪性能的方法，极大地减少了对干净数据的依赖，并在不同噪声水平下展现了显著的鲁棒性和普适性。

    Oct, 2023