ECCVJul, 2022

MeshMAE: 用于三维网格数据分析的遮罩自编码器

PDF
TL;DR本文探讨了将自监督预训练用于基于 transformers 的 3D 网格数据分析的学习范式，并首先将 Vision Transformer 适应到 3D 网格数据处理中，即 Mesh Transformer，并通过 MAE 的启发，在 3D 网格数据上进行自学习，提出了 MeshMAE 方法，可以提供 3D 网格分析任务的最新性能，并证明了我们方法中关键设计的有效性。
self-supervised pre-trainingvision transformers3d mesh data analysismesh transformermeshmae
发现论文，激发创造
  • GeoMAE：自监督点云预训练的掩蔽几何目标预测

    本文介绍了一种基于几何特征重建的点云表示学习框架，其中包括三个点云专有的自监督学习目标，即质心预测、表面法线估计和曲率预测。该框架采用自监督学习方法，创造有意义的任务，相互促进模型更好地推理点云的精细几何结构。通过训练后，该模型在物体检测、分割和多目标跟踪等任务上均实现了显著的表现提升。

    May, 2023

  • 通过点特征增强掩膜自编码器实现紧凑 3D 表示

    为了学习紧凑的 3D 表示，我们提出了一个简单而有效的 Point Feature Enhancement Masked Autoencoders (Point-FEMAE)，它主要由一个全局分支和一个局部分支组成，通过全局随机和局部块掩码策略获得的全局和局部未经掩码的补丁提取点特征，然后使用特定的解码器进行重构，同时，为了进一步增强局部分支中的特征，我们提出了一个局部增强模块，使用局部补丁卷积方法感知更大尺度上的细粒度局部上下文。

    Dec, 2023

  • MTSMAE: 基于掩码的自编码器用于多元时间序列预测

    该论文提出了一种新的基于 Masked Autoencoders (MAE) 的自监督预训练方法称为 MTSMAE，利用补丁嵌入的方法处理多元时间序列，实验证明，该方法的性能显著优于目前最好的方法。

    Oct, 2022

  • 表面遮罩自编码器：供大脑皮层成像数据的自监督

    本研究通过使用自监督学习以及具有表面网格的视觉转换器架构，构建了模型以模拟皮层结构，进而实现对皮层表面的学习。通过在较大数据集上进行预训练，可以获得强大的表示能力，用于在数据少的情景下进行微调，而在皮层表型回归任务中，预训练可以带来 26% 的性能提升和 80% 的更快收敛速度。

    Aug, 2023

  • 点云自监督学习：基于三维到多视角遮蔽自编码器

    通过使用 3D 到多视图掩码自编码器，充分利用 3D 点云的多模属性，提出了一种全新的方法，这不仅丰富了模型对几何结构的理解，还利用了点云的固有多模性能，有效地改进了各种任务，包括 3D 对象分类、少样本学习、部分分割和 3D 对象检测。

    Nov, 2023

  • NeRF-MAE: 自监督三维表示学习的遮罩自动编码器用于神经辐射场

    神经场在计算机视觉和机器人技术中表现出色，能够理解三维视觉世界，例如推断语义、几何和动态。我们使用神经场进行自监督预训练，尤其是使用遮盖的自动编码器从 RGB 图像生成有效的三维表示，然后将标准的三维视觉 Transformer 应用于 NeRF 来进行特定形式的训练。我们利用 NeRF 的体积网格作为 Transformer 的密集输入，与像点云等其他三维表示进行对比。通过将相机轨迹用于采样，我们提取了可以规范化不同域中场景的显式表示。我们的目标是通过遮盖 NeRF 的辐射和密度网格的随机补丁并使用标准的三维 Swin Transformer 重建这些补丁，从而使模型能够学习完整场景的语义和空间结构。我们在自己提出的 posed-RGB 数据上规模化地对这个表示进行预训练，总共涉及超过 160 万幅图像。预训练后，编码器可以用于有效的三维迁移学习。我们提出的 NeRF-MAE 自监督预训练方法在各种具有挑战性的三维任务上表现出色，利用未标记的 posed 2D 数据进行预训练，相较于自监督三维预训练和 NeRF 场景理解基线，在 Front3D 和 ScanNet 数据集上的三维物体检测的 AP50 和 AP25 绝对性能提升分别超过 20％和 8％。

    Apr, 2024

  • Point-M2AE：基于多尺度掩码自编码器的分层点云预训练

    提出 Point-M2AE，一种新的多层次自监督学习框架，用于使用 Masked Autoencoders 预训练 3D 点云的分层表示学习，其具有优越的性能并超过了其他完全训练的方法。

    May, 2022

  • Point-MA2E: 带遮蔽和仿射变换自编码器用于自监督点云学习

    本论文提出了一种基于 Masked 和 Affine 变换的自我监督点云学习模型，通过在输入中添加 Affine 变换和掩模来损坏点云并使用编码器 - 解码器模型重建完整点云，实验证明其在对象分类、小样本学习、鲁棒性测试、部件分割和 3D 对象检测等方面有效。

    Nov, 2022

  • 基于拓扑和空间感知的遮蔽自编码器的自预训练用于 3D 医学图像分割

    我们提出了一种扩展的 Masked Autoencoders (MAEs) 方法，用于自我预训练 3D 医学图像分割任务，通过引入新的拓扑损失、预测 3D 裁剪区域的位置以及与 Vision Transformers (ViTs) 同时进行预训练，实现对几何形状和空间信息的捕捉，并且在五个公开的 3D 分割数据集上进行了大量实验证明了我们方法的有效性。

    Jun, 2024

  • SurgMAE：用于长时间手术视频分析的遮蔽自编码器

    提出一种基于采样高时空令牌的创新 MAE 架构 SurgMAE，应用于手术视频领域的自监督学习，证明了该方法在低数据量条件下的有效性及其在非手术数据集 UCF-101 上的泛化性能优越性。

    May, 2023