Point-M2AE:基于多尺度掩码自编码器的分层点云预训练
本文主张在基于自监督的三维表征学习中使用隐式曲面表征,通过提出的隐式自编码器(IAE)方法,解决了点云重建过程中的离散化采样误差问题,并在各种自监督学习基准测试中达到了最先进的性能水平。
Jan, 2022
本文提出一种新颖的掩码自编码点云自监督学习方案,通过划分输入点云为不规则点区块和高比例随机掩码,设计了一种基于Transformer的自编码器,该方案在预训练过程中高效并且在各种下游任务中具有很好的泛化能力,包括在少样本物体分类方面表现出色。
Mar, 2022
本研究提出了一种基于 Transformer 的具有区分性的掩码预训练框架 MaskPoint,该框架使用离散的占用值表示点云,通过简单的二元分类来代理掩盖的对象点和采样的噪声点,从而使其具有鲁棒性。该预训练模型在多个下游任务中表现优异,包括 3D 形状分类、分割和真实世界物体检测。
Mar, 2022
利用自监督的预训练,我们通过Image-to-Point Masked Autoencoders(I2P-MAE)从2D预训练模型中获取优秀的3D表示,其中我们引入了两种图像到点的学习方案:一种是引入2D引导遮罩策略,另一种是通过可见的点重构相应的多视角2D特征;与现有方法的完全训练结果相当的冻结I2P-MAE在ModelNet40上实现了93.4%的线性SVM准确性,在进一步在ScanObjectNN的最困难的分割上进行微调后,I2P-MAE达到了90.11%的最新技术水平,比第二好的方法高3.68%,展示出优秀的可转移能力。
Dec, 2022
通过自编码器预训练并采用使用基于注意力机制的解码器,本文在点云分析任务中表现优异,提高了点位置重建的不必要性,并还原了遮挡点的基础功能特征,包括表面法线和表面变化。
Apr, 2023
本文介绍了一种基于几何特征重建的点云表示学习框架,其中包括三个点云专有的自监督学习目标,即质心预测、表面法线估计和曲率预测。该框架采用自监督学习方法,创造有意义的任务,相互促进模型更好地推理点云的精细几何结构。通过训练后,该模型在物体检测、分割和多目标跟踪等任务上均实现了显著的表现提升。
May, 2023
通过使用3D到多视图掩码自编码器,充分利用3D点云的多模属性,提出了一种全新的方法,这不仅丰富了模型对几何结构的理解,还利用了点云的固有多模性能,有效地改进了各种任务,包括3D对象分类、少样本学习、部分分割和3D对象检测。
Nov, 2023
为了学习紧凑的 3D 表示,我们提出了一个简单而有效的 Point Feature Enhancement Masked Autoencoders (Point-FEMAE),它主要由一个全局分支和一个局部分支组成,通过全局随机和局部块掩码策略获得的全局和局部未经掩码的补丁提取点特征,然后使用特定的解码器进行重构,同时,为了进一步增强局部分支中的特征,我们提出了一个局部增强模块,使用局部补丁卷积方法感知更大尺度上的细粒度局部上下文。
Dec, 2023
通过结合对比学习与基于自编码器的遮罩式训练,本研究提出了一种名为Point-CMAE的方法,通过随机遮罩输入令牌生成对比输入对,并利用生成的自编码器进行令牌重构,从而将其应用于3D点云的预训练,进一步提高了表示质量与迁移的性能。
Jul, 2024
本研究解决了现有掩蔽自编码器在点云自我监督学习中因领域特定而导致的模型泛化能力不足的问题。论文提出了一种混合域掩蔽自编码器(PointHDMAE),采用块到场景的预训练策略,能够有效学习场景和对象的通用表征。实验结果证明该模型在多个数据集和任务中具有卓越的泛化能力。
Oct, 2024