ECCVJul, 2022

自监督预训练在三维视觉中的不变性深入剖析

PDF
TL;DR本文针对自监督学习在 3D 视觉中的应用，提出了一个统一的框架，并对各个不变性进行了全面的研究和比较。同时，文章还提出了一个简单而有效的对 3D 编码器和深度图编码器进行联合自对比学习的方法，并在下游任务中取得了显著的性能提升。
发现论文，激发创造
  • 任意点云的自监督 3D 特征预训练

    该研究提出了一种可用于 3D 数据的简单自监督预训练方法，在目标检测、语义分割和物体分类等方面取得了最先进的结果并提高了少样本类别的性能。

    Jan, 2021

  • 自监督视觉表征学习的传递不变性

    文章介绍了一种利用自监督学习的图形结构来学习具有不变性特征的视觉表示，并应用该表示在不同的识别任务中取得了显著性能提升。

    Aug, 2017

  • Pri3D：3D 先验能够帮助 2D 表征学习吗？

    探讨了利用几何约束来学习视角不变、几何感知表达，通过对 RGB-D 数据进行对比度学习，实现从 3D 先验信息到 2D 表达的迁移，并在语义分割、实例分割、室内物体检测中实现了显著提升。

    Apr, 2021

  • Mask3D：通过学习掩码的 3D 先验知识预训练 2D 视觉 Transformer

    提出了一种名为 Mask3D 的预训练方法，可以将现有的大规模 RGB-D 数据应用于自监督预训练中，将 3D 先验嵌入到 2D 的学习特征中，并对多个场景理解任务产生了改进，尤其是语义分割。

    Feb, 2023

  • PointContrast: 无监督预训练 3D 点云理解

    本研究旨在促进 3D 深度学习表示学习的研究，重点关注高级场景理解任务，使用统一的三元组架构、源数据集和对比损失进行无监督预训练，对室内和室外、真实和合成数据集的 6 个不同基准进行分割和检测，取得了鼓舞性的结果，表明学习到的表示可以在不同领域推广使用，并且与监督的预训练的改善程度相似，建议未来的努力应该更加注重扩充数据收集而非详细标注。

    Jul, 2020

  • 使用三维先验增强二维表示学习

    通过在训练过程中直接强制将强大的三维结构先验性知识融入模型，我们提出了一种新的方法来加强现有的自监督学习方法，并通过一系列数据集实验证明了我们的三维感知表示比传统的自监督基线更加稳健。

    Jun, 2024

  • 揭开对比自监督学习的神秘面纱：不变量，数据增强和数据集偏差

    通过量化实验，我们发现了自监督学习方法的增益来源及其局限性，并且提出了一种利用非结构化视频学习表示以实现更高视点不变性的方法。

    Jul, 2020

  • 基于多视图表达学习的点云预训练

    本文提出了一种基于 2D network 预训练的点云 3D 预训练新方法，通过引入多视角一致性损失，可有效防止 3D 特征丢失并在 3D 检测和语义分割等任务中实现最先进的性能。

    Jun, 2023

  • 对比自监督的折旧不变性学习

    本文提出了一种基于自监督学习的泛化表征学习方法，利用不同 iable invariance hyper-parameters 控制表示中编码的不变性，并且通过梯度下降学习线性 readout 和任务特定的不变性要求，无需特定任务的预训练，从而实现了单一表征学习在多种任务中的多样化应用。

    Feb, 2023

  • 使用多视角渲染进行自监督学习的三维点云分析

    通过多视图渲染三维数据，运用局部和全局两个层次的自监督方式进行神经网络的预训练来取得了优于 PointNet，DGCNN 和 SR-UNet 等现有方法的效果，并分析了合成和真实数据的优缺点。

    Oct, 2022