点云自监督学习:基于三维到多视角遮蔽自编码器
本文主张在基于自监督的三维表征学习中使用隐式曲面表征,通过提出的隐式自编码器(IAE)方法,解决了点云重建过程中的离散化采样误差问题,并在各种自监督学习基准测试中达到了最先进的性能水平。
Jan, 2022
本文提出一种新颖的掩码自编码点云自监督学习方案,通过划分输入点云为不规则点区块和高比例随机掩码,设计了一种基于Transformer的自编码器,该方案在预训练过程中高效并且在各种下游任务中具有很好的泛化能力,包括在少样本物体分类方面表现出色。
Mar, 2022
本研究提出了一种基于 Transformer 的具有区分性的掩码预训练框架 MaskPoint,该框架使用离散的占用值表示点云,通过简单的二元分类来代理掩盖的对象点和采样的噪声点,从而使其具有鲁棒性。该预训练模型在多个下游任务中表现优异,包括 3D 形状分类、分割和真实世界物体检测。
Mar, 2022
提出Point-M2AE,一种新的多层次自监督学习框架,用于使用Masked Autoencoders预训练3D点云的分层表示学习,其具有优越的性能并超过了其他完全训练的方法。
May, 2022
利用自监督的预训练,我们通过Image-to-Point Masked Autoencoders(I2P-MAE)从2D预训练模型中获取优秀的3D表示,其中我们引入了两种图像到点的学习方案:一种是引入2D引导遮罩策略,另一种是通过可见的点重构相应的多视角2D特征;与现有方法的完全训练结果相当的冻结I2P-MAE在ModelNet40上实现了93.4%的线性SVM准确性,在进一步在ScanObjectNN的最困难的分割上进行微调后,I2P-MAE达到了90.11%的最新技术水平,比第二好的方法高3.68%,展示出优秀的可转移能力。
Dec, 2022
本文提出了PiMAE,一个自我监督的预训练框架,旨在通过三个方面促进3D和2D交互,以提高现有作品中的交叉模态协同作用。在SUN RGB-D和ScannetV2上进行广泛的实验后,我们发现交互式学习点-图像特征是不平凡的,并通过2.9%,6.7%和2.4%显着提高了多个3D检测器,2D检测器和少样本分类器。
Mar, 2023
通过自编码器预训练并采用使用基于注意力机制的解码器,本文在点云分析任务中表现优异,提高了点位置重建的不必要性,并还原了遮挡点的基础功能特征,包括表面法线和表面变化。
Apr, 2023
为了学习紧凑的 3D 表示,我们提出了一个简单而有效的 Point Feature Enhancement Masked Autoencoders (Point-FEMAE),它主要由一个全局分支和一个局部分支组成,通过全局随机和局部块掩码策略获得的全局和局部未经掩码的补丁提取点特征,然后使用特定的解码器进行重构,同时,为了进一步增强局部分支中的特征,我们提出了一个局部增强模块,使用局部补丁卷积方法感知更大尺度上的细粒度局部上下文。
Dec, 2023
通过结合对比学习与基于自编码器的遮罩式训练,本研究提出了一种名为Point-CMAE的方法,通过随机遮罩输入令牌生成对比输入对,并利用生成的自编码器进行令牌重构,从而将其应用于3D点云的预训练,进一步提高了表示质量与迁移的性能。
Jul, 2024
本研究解决了现有掩蔽自编码器在点云自我监督学习中因领域特定而导致的模型泛化能力不足的问题。论文提出了一种混合域掩蔽自编码器(PointHDMAE),采用块到场景的预训练策略,能够有效学习场景和对象的通用表征。实验结果证明该模型在多个数据集和任务中具有卓越的泛化能力。
Oct, 2024