Sep, 2023

M$^3$CS: 多目标掩蔽点建模算法与可学习编码簿及孪生解码器

PDF
TL;DRM^3CS 是一种掩码点云建模方案，通过引入 siamese 解码器和在线码书投影，它能够同时预测掩码表示和原始点，从而在自我监督预训练中获得低级和高级表示建模能力，并在分类和分割任务中显示出优越性能。
masked point modelingself-supervised pre-trainingm^3cssiamese decodersonline codebook
发现论文，激发创造
  • 点云自监督学习：基于三维到多视角遮蔽自编码器

    通过使用 3D 到多视图掩码自编码器，充分利用 3D 点云的多模属性，提出了一种全新的方法，这不仅丰富了模型对几何结构的理解，还利用了点云的固有多模性能，有效地改进了各种任务，包括 3D 对象分类、少样本学习、部分分割和 3D 对象检测。

    Nov, 2023

  • 点云自监督学习的遮掩式判别

    本研究提出了一种基于 Transformer 的具有区分性的掩码预训练框架 MaskPoint，该框架使用离散的占用值表示点云，通过简单的二元分类来代理掩盖的对象点和采样的噪声点，从而使其具有鲁棒性。该预训练模型在多个下游任务中表现优异，包括 3D 形状分类、分割和真实世界物体检测。

    Mar, 2022

  • Point-M2AE：基于多尺度掩码自编码器的分层点云预训练

    提出 Point-M2AE，一种新的多层次自监督学习框架，用于使用 Masked Autoencoders 预训练 3D 点云的分层表示学习，其具有优越的性能并超过了其他完全训练的方法。

    May, 2022

  • M$^{3}$3D：使用多模态掩蔽自编码器学习 2D 图像和视频的 3D 先验

    提出了一种名为 M$^{3}$3D 的新的预训练策略，该策略基于基于多模态遮蔽自编码器，可以利用三维先验和学习的跨模态表示，以增强颜色 - 深度数据之间的对应关系，并能在各种下游任务中提高性能。

    Sep, 2023

  • 点云自监督学习的掩蔽自编码器

    本文提出一种新颖的掩码自编码点云自监督学习方案，通过划分输入点云为不规则点区块和高比例随机掩码，设计了一种基于 Transformer 的自编码器，该方案在预训练过程中高效并且在各种下游任务中具有很好的泛化能力，包括在少样本物体分类方面表现出色。

    Mar, 2022

  • 基于 Masked-AutoEncoder 的点云预训练中的 3D 特征预测

    通过自编码器预训练并采用使用基于注意力机制的解码器，本文在点云分析任务中表现优异，提高了点位置重建的不必要性，并还原了遮挡点的基础功能特征，包括表面法线和表面变化。

    Apr, 2023

  • 基于遮挡形状预测的自监督 3D 场景理解预训练

    本文介绍了 Masked Shape Prediction (MSP) 框架，它使用 3D 语义提示来预测掩码点，并引入了明确的形状上下文和隐式深度形状特征来帮助利用形状预测中的上下文提示。实验表明 MSP 可以提高下游任务的性能表现。

    May, 2023

  • 基于监督引导的编码本，用于语音预训练中的遮蔽预测

    本论文提出了两种监督引导的码本生成方法，分别是使用混合 ASR 系统解码并生成音素级别对齐（命名为 PBERT）或者使用从端到端 CTC 模型中提取的受监督语音特征进行聚类（命名为 CTC 聚类），以提高自动语音识别性能和预训练效率。实验结果表明，我们的方法在各种 SSL 和自训练基线中具有显著的优越性，最高 WER 相对降低了 17.0％。我们的预训练模型在非 ASR 语音任务中也表现出良好的可迁移性。

    Jun, 2022

  • GeoMAE：自监督点云预训练的掩蔽几何目标预测

    本文介绍了一种基于几何特征重建的点云表示学习框架，其中包括三个点云专有的自监督学习目标，即质心预测、表面法线估计和曲率预测。该框架采用自监督学习方法，创造有意义的任务，相互促进模型更好地推理点云的精细几何结构。通过训练后，该模型在物体检测、分割和多目标跟踪等任务上均实现了显著的表现提升。

    May, 2023

  • MOCA：通过预测掩码在线码书分配进行自监督表示学习

    提出了一种单阶段且独立的方法 MOCA，用高层特征定义新颖的掩码和预测目标，有效地结合了自我监督学习的两种范式，在低样本设置下取得了新的最先进结果，并且训练速度至少比之前的方法快 3 倍。

    Jul, 2023