Mar, 2023

PiMAE: 基于点云和图像的交互式遮罩自编码器用于 3D 物体检测

PDF
TL;DR本文提出了 PiMAE，一个自我监督的预训练框架，旨在通过三个方面促进 3D 和 2D 交互，以提高现有作品中的交叉模态协同作用。在 SUN RGB-D 和 ScannetV2 上进行广泛的实验后，我们发现交互式学习点 - 图像特征是不平凡的，并通过 2.9％，6.7％和 2.4％显着提高了多个 3D 检测器，2D 检测器和少样本分类器。
masked autoencodersmulti-modality settings3d and 2d interactioncross-modal synergyrgb-d scene understanding
发现论文，激发创造
  • 通过图像到点蒙版自编码器从二维预训练模型中学习三维表示

    利用自监督的预训练，我们通过 Image-to-Point Masked Autoencoders（I2P-MAE）从 2D 预训练模型中获取优秀的 3D 表示，其中我们引入了两种图像到点的学习方案：一种是引入 2D 引导遮罩策略，另一种是通过可见的点重构相应的多视角 2D 特征；与现有方法的完全训练结果相当的冻结 I2P-MAE 在 ModelNet40 上实现了 93.4％的线性 SVM 准确性，在进一步在 ScanObjectNN 的最困难的分割上进行微调后，I2P-MAE 达到了 90.11％的最新技术水平，比第二好的方法高 3.68％，展示出优秀的可转移能力。

    Dec, 2022

  • 点云自监督学习：基于三维到多视角遮蔽自编码器

    通过使用 3D 到多视图掩码自编码器，充分利用 3D 点云的多模属性，提出了一种全新的方法，这不仅丰富了模型对几何结构的理解，还利用了点云的固有多模性能，有效地改进了各种任务，包括 3D 对象分类、少样本学习、部分分割和 3D 对象检测。

    Nov, 2023

  • MultiMAE: 多模态多任务掩蔽自编码器

    提出了一种称为 MultiMAE 的预训练策略，通过掩蔽解决了网络输入多样性和预测任务多样性的问题，从而实现可靠的跨模态与任务预测编码和转移学习。

    Apr, 2022

  • 通过点特征增强掩膜自编码器实现紧凑 3D 表示

    为了学习紧凑的 3D 表示，我们提出了一个简单而有效的 Point Feature Enhancement Masked Autoencoders (Point-FEMAE)，它主要由一个全局分支和一个局部分支组成，通过全局随机和局部块掩码策略获得的全局和局部未经掩码的补丁提取点特征，然后使用特定的解码器进行重构，同时，为了进一步增强局部分支中的特征，我们提出了一个局部增强模块，使用局部补丁卷积方法感知更大尺度上的细粒度局部上下文。

    Dec, 2023

  • CoMAE：基于单模型的小规模 RGB-D 数据混合预训练

    本文提出了一种名为 CoMAE 的单模型自监督混合预训练框架，通过交叉模态对比学习和遮蔽图像建模，采用课程学习策略来统一两种流行的自监督表示学习算法，并设计了一个修补程序级别对齐任务来预训练一种单一的编码器，共享两个模态。CoMAE 在 SUN RGB-D 和 NYUDv2 数据集上的实验表明，在仅使用小规模和无标签的训练集进行预训练的情况下，其预训练模型仍然具有与额外的大规模和监督 RGB 数据集预训练的最新方法相竞争的效果。

    Feb, 2023

  • Point-M2AE：基于多尺度掩码自编码器的分层点云预训练

    提出 Point-M2AE，一种新的多层次自监督学习框架，用于使用 Masked Autoencoders 预训练 3D 点云的分层表示学习，其具有优越的性能并超过了其他完全训练的方法。

    May, 2022

  • DiffPMAE: 点云重建的扩散遮蔽自编码器

    点云流媒体成为交互式服务交付和未来元宇宙的常态，但庞大的数据量带来了诸多挑战，特别是高带宽消耗和大储存容量。为解决这些问题，我们提出了一种有效的点云重建架构 DiffPMAE，通过自监督学习和扩散模型机制远程重建点云数据，并在点云压缩、上采样和补全等下游任务中验证了其在自动编码和相关任务方面的优越性。

    Dec, 2023

  • UniM$^2$AE：自主驾驶中统一的三维感知的多模态掩码自编码器

    该篇研究论文提出了一种用于自动驾驶的多模态蒙版自动编码器（UniM$^2$AE）模型，通过将图像与激光雷达点云的特征融合，实现了对多模态数据的高效处理，提高了三维物体检测和鸟瞰图分割的效果。

    Aug, 2023

  • GeoMAE：自监督点云预训练的掩蔽几何目标预测

    本文介绍了一种基于几何特征重建的点云表示学习框架，其中包括三个点云专有的自监督学习目标，即质心预测、表面法线估计和曲率预测。该框架采用自监督学习方法，创造有意义的任务，相互促进模型更好地推理点云的精细几何结构。通过训练后，该模型在物体检测、分割和多目标跟踪等任务上均实现了显著的表现提升。

    May, 2023

  • M$^{3}$3D：使用多模态掩蔽自编码器学习 2D 图像和视频的 3D 先验

    提出了一种名为 M$^{3}$3D 的新的预训练策略，该策略基于基于多模态遮蔽自编码器，可以利用三维先验和学习的跨模态表示，以增强颜色 - 深度数据之间的对应关系，并能在各种下游任务中提高性能。

    Sep, 2023