ECCVMar, 2022

多模态掩码预训练用于单目全景深度补全

PDF
TL;DR本文提出了一种称为 M {^3} PT 的简单而有效的方法，用于 360 度深度图像补全，使用 multi-modal masked pre-training 实现，从而在三个 360 度数据集上取得了显著的改进。
panoramic depth completion360-degree depthmulti-modal masked pre-trainingtransfer learning360-degree datasets
发现论文，激发创造
  • M$^{3}$3D：使用多模态掩蔽自编码器学习 2D 图像和视频的 3D 先验

    提出了一种名为 M$^{3}$3D 的新的预训练策略，该策略基于基于多模态遮蔽自编码器，可以利用三维先验和学习的跨模态表示，以增强颜色 - 深度数据之间的对应关系，并能在各种下游任务中提高性能。

    Sep, 2023

  • Mask3D：通过学习掩码的 3D 先验知识预训练 2D 视觉 Transformer

    提出了一种名为 Mask3D 的预训练方法，可以将现有的大规模 RGB-D 数据应用于自监督预训练中，将 3D 先验嵌入到 2D 的学习特征中，并对多个场景理解任务产生了改进，尤其是语义分割。

    Feb, 2023

  • PiMAE: 基于点云和图像的交互式遮罩自编码器用于 3D 物体检测

    本文提出了 PiMAE，一个自我监督的预训练框架，旨在通过三个方面促进 3D 和 2D 交互，以提高现有作品中的交叉模态协同作用。在 SUN RGB-D 和 ScannetV2 上进行广泛的实验后，我们发现交互式学习点 - 图像特征是不平凡的，并通过 2.9％，6.7％和 2.4％显着提高了多个 3D 检测器，2D 检测器和少样本分类器。

    Mar, 2023

  • CoMAE：基于单模型的小规模 RGB-D 数据混合预训练

    本文提出了一种名为 CoMAE 的单模型自监督混合预训练框架，通过交叉模态对比学习和遮蔽图像建模，采用课程学习策略来统一两种流行的自监督表示学习算法，并设计了一个修补程序级别对齐任务来预训练一种单一的编码器，共享两个模态。CoMAE 在 SUN RGB-D 和 NYUDv2 数据集上的实验表明，在仅使用小规模和无标签的训练集进行预训练的情况下，其预训练模型仍然具有与额外的大规模和监督 RGB 数据集预训练的最新方法相竞争的效果。

    Feb, 2023

  • 利用多模态球面图像进行单帧语义分割

    本研究提出了一种基于 Transformer 的跨模态融合架构，用于弥合多模态融合与全景场景感知之间的差距，并使用失真感知模块来处理极端对象变形和全景失真，通过跨模态交互实现特征矫正和信息交换，最终将特征合并以传达双模态和三模态特征流的长程上下文，通过在三个室内全景数据集中四种不同模态类型的组合进行彻底测试，我们的技术在 Stanford2D3DS（RGB-HHA）上达到了 60.60% 的 mIoU 性能，Structured3D（RGB-D-N）上达到了 71.97% 的 mIoU 性能，Matterport3D（RGB-D）上达到了 35.92% 的 mIoU 性能。

    Aug, 2023

  • MultiMAE: 多模态多任务掩蔽自编码器

    提出了一种称为 MultiMAE 的预训练策略，通过掩蔽解决了网络输入多样性和预测任务多样性的问题，从而实现可靠的跨模态与任务预测编码和转移学习。

    Apr, 2022

  • UAMD-Net: 一种用于稠密深度补全的统一自适应多模态神经网络

    提出了一种新的多模态神经网络 UAMD-Net，通过融合双目立体匹配和稀疏点云的弱约束进行深度完善，并使用新的训练策略 Modal-dropout 使得网络能够适应多种模态输入条件，该方法在 KITTI 深度完善基准测试中的实验表明其能够产生鲁棒的结果，并优于其他最先进的方法。

    Apr, 2022

  • PMatch：用于密集几何匹配的成对掩蔽图像建模

    本文通过对预训练模块重构和加入新模块，实现了稠密几何匹配任务的最优表现，并提供了相应的代码和模型。

    Mar, 2023

  • 基于两阶段遮罩自编码网络的室内深度完整性填充

    基于 Transformer 的双步骤网络用于室内深度完成，采用自监督预训练编码器学习有效的潜在表示来填补缺失的深度值，并基于令牌融合机制从 RGB 和不完整的深度图像中完成室内深度重建。

    Jun, 2024

  • 点云自监督学习：基于三维到多视角遮蔽自编码器

    通过使用 3D 到多视图掩码自编码器，充分利用 3D 点云的多模属性，提出了一种全新的方法，这不仅丰富了模型对几何结构的理解，还利用了点云的固有多模性能，有效地改进了各种任务，包括 3D 对象分类、少样本学习、部分分割和 3D 对象检测。

    Nov, 2023