Apr, 2024

NeRF-MAE: 自监督三维表示学习的遮罩自动编码器用于神经辐射场

PDF
TL;DR神经场在计算机视觉和机器人技术中表现出色，能够理解三维视觉世界，例如推断语义、几何和动态。我们使用神经场进行自监督预训练，尤其是使用遮盖的自动编码器从 RGB 图像生成有效的三维表示，然后将标准的三维视觉 Transformer 应用于 NeRF 来进行特定形式的训练。我们利用 NeRF 的体积网格作为 Transformer 的密集输入，与像点云等其他三维表示进行对比。通过将相机轨迹用于采样，我们提取了可以规范化不同域中场景的显式表示。我们的目标是通过遮盖 NeRF 的辐射和密度网格的随机补丁并使用标准的三维 Swin Transformer 重建这些补丁，从而使模型能够学习完整场景的语义和空间结构。我们在自己提出的 posed-RGB 数据上规模化地对这个表示进行预训练，总共涉及超过 160 万幅图像。预训练后，编码器可以用于有效的三维迁移学习。我们提出的 NeRF-MAE 自监督预训练方法在各种具有挑战性的三维任务上表现出色，利用未标记的 posed 2D 数据进行预训练，相较于自监督三维预训练和 NeRF 场景理解基线，在 Front3D 和 ScanNet 数据集上的三维物体检测的 AP50 和 AP25 绝对性能提升分别超过 20％和 8％。
neural fields3d representationsself-supervised pretraining3d vision transformersnerf-mae
发现论文，激发创造
  • 实现可传递的多模态感知表示学习自主性：NeRF-Supervised 遮蔽自动编码器

    该论文提出了一种统一的自监督预训练框架，通过在神经辐射场 (NeRF) 中进行掩蔽多模态重建，实现可传输的多模态感知表示学习。实验证明，通过该方法学习到的表示对于多样化的三维感知下游任务（包括三维物体检测和 BEV 地图分割）具有良好的可迁移性，并且可享受掩蔽自编码器和神经辐射场机制的协同效应。

    Nov, 2023

  • 自监督先训练用于可迁移多模态感知

    这篇论文介绍了一种用于可转移多模式表示学习的自监督预训练范式，利用 NeRF 支持的遮蔽自动编码器（NS-MAE）来提供高效且高性能的微调的预训练模型初始化，通过在神经辐射场（NeRF）中进行遮蔽多模式重建来训练模型以重建缺失或损坏的多模式输入数据，证明了 NS-MAE 表示在不同的多模式和单模式感知模型之间的良好可转移性，该可转移性在不同程度的微调标签数据下通过各种 3D 感知下游任务进行了评估，例如 3D 对象检测和 BEV 地图分割。

    May, 2024

  • MRVM-NeRF：基于掩码的神经放射场预训练

    提出了一种基于掩膜的光线和视角建模方法（MRVM-NeRF），通过细阶段上的随机掩膜来学习 3D 场景的先验知识，从而使模型的泛化能力得到提升。实验证明了该方法在合成和真实场景下具有优越性。

    Apr, 2023

  • MeshMAE: 用于三维网格数据分析的遮罩自编码器

    本文探讨了将自监督预训练用于基于 transformers 的 3D 网格数据分析的学习范式，并首先将 Vision Transformer 适应到 3D 网格数据处理中，即 Mesh Transformer，并通过 MAE 的启发，在 3D 网格数据上进行自学习，提出了 MeshMAE 方法，可以提供 3D 网格分析任务的最新性能，并证明了我们方法中关键设计的有效性。

    Jul, 2022

  • MA-NeRF：基于动作协助的神经辐射场技术，用于从稀疏图像合成人脸

    本文提出了一种新的框架，即结构位移特性和语义感知学习模块，来改进 NeRF 的不足之处并成功处理未见过的表情，实现了从稀疏图像中合成逼真的三维人脸形象，并在定量和定性上比当前艺术水平领先。

    Jun, 2023

  • 高效的三维场景重建潜空间神经辐射场

    通过将自编码器与 NeRF 相结合，我们提出了一种潜空间 NeRF，可以在渲染速度提高三倍的同时减少视觉伪影，从而产生更高质量的新视图，可用于实现高效且高保真的 3D 场景表示，特别适用于需要保持可微性的机器人学场景。

    Oct, 2023

  • 无感知，更高效产出：用掩码自编码器预训练 LiDAR 感知以实现超高效 3D 感知

    通过提出低成本 LiDAR 感知数据流、径向遮罩自编码等方法，减少能量消耗并提高预测准确性，以便在无人机器人和自主导航中节省传感器的能量和延长电池寿命。

    Jun, 2024

  • 几何感知的场场变换用于三维语义分割

    我们提出了一种新颖的方法，通过利用神经辐射场（NeRFs）从二维监督中进行三维语义分割，通过提取表面点云上的特征，实现了场景的紧凑表示，这种表示对于三维推理而言具有高效的采样并且适于少样本分割。我们的方法不依赖于场景参数化，可以适用于任何类型的 NeRF 场景。

    Oct, 2023

  • 表面遮罩自编码器：供大脑皮层成像数据的自监督

    本研究通过使用自监督学习以及具有表面网格的视觉转换器架构，构建了模型以模拟皮层结构，进而实现对皮层表面的学习。通过在较大数据集上进行预训练，可以获得强大的表示能力，用于在数据少的情景下进行微调，而在皮层表型回归任务中，预训练可以带来 26% 的性能提升和 80% 的更快收敛速度。

    Aug, 2023

  • 自我演化神经辐射场

    提出了一种名为 SE-NeRF 的自我进化神经辐射场框架，通过在教师 - 学生框架中将 few-shot NeRF 转化为，将由教师生成的附加伪标签训练学生，通过使用可靠性估计方法提取射线级伪标签，使得 NeRF 能够学习更准确、更强健的三维场景几何，并展示与评估了将该自我训练框架应用于现有模型时改进了渲染图像的质量并在多种环境中实现了最先进的性能。

    Dec, 2023