通过图像到点蒙版自编码器从二维预训练模型中学习三维表示

Dec, 2022

通过图像到点蒙版自编码器从二维预训练模型中学习三维表示

Learning 3D Representations from 2D Pre-trained Models via Image-to-Point Masked Autoencoders

Renrui Zhang, Liuhui Wang, Yu Qiao, Peng Gao, Hongsheng Li

TL;DR利用自监督的预训练，我们通过 Image-to-Point Masked Autoencoders（I2P-MAE）从 2D 预训练模型中获取优秀的 3D 表示，其中我们引入了两种图像到点的学习方案：一种是引入 2D 引导遮罩策略，另一种是通过可见的点重构相应的多视角 2D 特征；与现有方法的完全训练结果相当的冻结 I2P-MAE 在 ModelNet40 上实现了 93.4％的线性 SVM 准确性，在进一步在 ScanObjectNN 的最困难的分割上进行微调后，I2P-MAE 达到了 90.11％的最新技术水平，比第二好的方法高 3.68％，展示出优秀的可转移能力。

Abstract

Pre-training by numerous image data has become de-facto for robust 2D representations. In contrast, due to the expensive data acquisition and annotation, a paucity of large-scale 3D datasets severely hinders the learning for high-quality 3D features. In this paper, we propose an alternative to obtain superior →

3d representations self-supervised pre-training masked autoencoding 2d knowledge transferable capacity

发现论文，激发创造

Point-M2AE：基于多尺度掩码自编码器的分层点云预训练

提出 Point-M2AE，一种新的多层次自监督学习框架，用于使用 Masked Autoencoders 预训练 3D 点云的分层表示学习，其具有优越的性能并超过了其他完全训练的方法。

May, 2022

PiMAE: 基于点云和图像的交互式遮罩自编码器用于 3D 物体检测

本文提出了 PiMAE，一个自我监督的预训练框架，旨在通过三个方面促进 3D 和 2D 交互，以提高现有作品中的交叉模态协同作用。在 SUN RGB-D 和 ScannetV2 上进行广泛的实验后，我们发现交互式学习点 - 图像特征是不平凡的，并通过 2.9％，6.7％和 2.4％显着提高了多个 3D 检测器，2D 检测器和少样本分类器。

Mar, 2023

点云自监督学习：基于三维到多视角遮蔽自编码器

通过使用 3D 到多视图掩码自编码器，充分利用 3D 点云的多模属性，提出了一种全新的方法，这不仅丰富了模型对几何结构的理解，还利用了点云的固有多模性能，有效地改进了各种任务，包括 3D 对象分类、少样本学习、部分分割和 3D 对象检测。

Nov, 2023

通过点特征增强掩膜自编码器实现紧凑 3D 表示

为了学习紧凑的 3D 表示，我们提出了一个简单而有效的 Point Feature Enhancement Masked Autoencoders (Point-FEMAE)，它主要由一个全局分支和一个局部分支组成，通过全局随机和局部块掩码策略获得的全局和局部未经掩码的补丁提取点特征，然后使用特定的解码器进行重构，同时，为了进一步增强局部分支中的特征，我们提出了一个局部增强模块，使用局部补丁卷积方法感知更大尺度上的细粒度局部上下文。

Dec, 2023

基于 Masked-AutoEncoder 的点云预训练中的 3D 特征预测

通过自编码器预训练并采用使用基于注意力机制的解码器，本文在点云分析任务中表现优异，提高了点位置重建的不必要性，并还原了遮挡点的基础功能特征，包括表面法线和表面变化。

Apr, 2023

Point-MA2E: 带遮蔽和仿射变换自编码器用于自监督点云学习

本论文提出了一种基于 Masked 和 Affine 变换的自我监督点云学习模型，通过在输入中添加 Affine 变换和掩模来损坏点云并使用编码器 - 解码器模型重建完整点云，实验证明其在对象分类、小样本学习、鲁棒性测试、部件分割和 3D 对象检测等方面有效。

Nov, 2022

GeoMAE：自监督点云预训练的掩蔽几何目标预测

本文介绍了一种基于几何特征重建的点云表示学习框架，其中包括三个点云专有的自监督学习目标，即质心预测、表面法线估计和曲率预测。该框架采用自监督学习方法，创造有意义的任务，相互促进模型更好地推理点云的精细几何结构。通过训练后，该模型在物体检测、分割和多目标跟踪等任务上均实现了显著的表现提升。

May, 2023

SdAE: 自我蒸馏的遮蔽式自编码器

本文提出了一种名为 SdAE 的简单自蒸馏掩码自编码器网络，该网络具有带有编码器 - 解码器结构的学生分支来重构缺失信息，以及产生蒸馏编码代码本的老师分支。通过分析信息瓶颈，提出了一种构建良好视图以产生潜在表示的方法，并使用多重蒙版策略来提供平衡信息的多个蒙版视图，以增强性能。

Jul, 2022

点云自监督学习的掩蔽自编码器

本文提出一种新颖的掩码自编码点云自监督学习方案，通过划分输入点云为不规则点区块和高比例随机掩码，设计了一种基于 Transformer 的自编码器，该方案在预训练过程中高效并且在各种下游任务中具有很好的泛化能力，包括在少样本物体分类方面表现出色。

Mar, 2022

回归再构造：点云自监督学习的回归自编码器

提出了一种名为 Point-RAE 的新的自编码器方案，用于点云的自监督学习，通过引入掩码回归器，在编码器和解码器之间进行功能解耦，最小化解码器对编码器表示空间的影响，并通过对齐约束确保从可见补丁的编码表示中预测出的用于掩码补丁的表示与从编码器计算的掩码补丁表达对齐。大量实验证明该方法在预训练过程中高效，并在各种下游任务中具有良好的泛化性能。

Sep, 2023