CVPRMar, 2023

掩蔽场景对比：一种用于无监督 3D 表示学习的可扩展框架

PDF
TL;DR提出了一种名为 MSC 的 Masked Scene Contrast 框架，利用对比学习直接在场景级别点云上生成对比视图以及对比重建来更有效地提取全面的 3D 表示，并使大规模 3D 预训练跨多个数据集成为可能，并在多个下游任务上实现了最新的最好的微调结果。
unsupervised 3d representation learningcontrastive learningreconstructive learningpre-traininglarge-scale 3d pre-training
发现论文，激发创造
  • 使用对比场景语境探索数据高效的三维场景理解

    本文提出一种基于对比场景上下文的三维预训练方法，在数据量和标注不足时实现了全面标注的近乎完全的实例分割和语义分割。

    Dec, 2020

  • P4Contrast: 使用点 - 像素对进行对比学习应用于 RGB-D 场景理解

    论文提出了一种通过对比 RGB-D 数据的点 - 像素对，实现自监督预训练模型的方法，进而在多模态 RGB-D 扫描中为场景理解提供更多的灵活性，实现更好的预训练效果。

    Dec, 2020

  • ProposalContrast：基于 LiDAR 的三维目标检测的无监督预训练

    提出了一种名为 ProposalContrast 的无监督点云预训练框架，该框架通过对比区域建议来学习强大的 3D 表示，从而更好地适应 3D 检测属性。

    Jul, 2022

  • GroupContrast：语义感知的自监督学习用于三维理解

    自我监督的 3D 表示学习旨在从大规模未标记的点云中学习有效的表示。我们提出了 GroupContrast，一种将分段分组和语义感知对比学习相结合的新方法，通过分段分组提高语义一致性并为后续的对比表示学习提供语义指导，从而减轻了 “语义冲突” 问题。

    Mar, 2024

  • PointCMP：基于对比掩膜预测的点云视频自监督学习

    本文提出了 PointCMP 的对比度掩膜预测框架，用于自我监督学习点云视频，实现了同时学习局部和全局位相信息，并通过互相相似的数据增强模块生成艰难的样本。实验表明，PointCMP 实现了基准数据集上的最先进性能，并优于现有的全面监督对应。传递学习结果证明了学习表示在不同数据集和任务之间具有优越性。

    May, 2023

  • 半监督点云语义分割的引导点对比学习

    本文介绍了一种半监督点云语义分割方法，使用伪标签指导其损失函数，并提出了一种基于对比损失的方法来增强特征表示和模型的泛化能力。实验证明，该方法在三个数据集上都可以有效地提高预测质量。

    Oct, 2021

  • 构建通用 3D 大规模感知强预训练基准

    通过构建一个 CSC 框架，我们综合使用视觉基础模型提供的语义线索和多模态信息的知识丰富的跨场景原型，实现了一种具有各种下游任务的更少微调工作量的通用 3D 预训练模型。

    May, 2024

  • CrossPoint: 自监督的跨模态对比学习，用于三维点云理解

    本研究提出了一种名为 CrossPoint 的简单跨模态对比学习方法，通过自监督学习，在不需要人类标注的情况下，实现可转移的三维点云表示，通过最大化点云和相应渲染的二维图像之间的协议，实现了三维物体分类和分割等多项任务，并验证了我们的方法在提高点云理解方面的效果。

    Mar, 2022

  • 基于语义聚类的点云视频自监督学习的点对比预测

    我们提出了一个统一的点云视频自监督学习框架，用于面向对象和面向场景的数据。通过在点级别进行对比学习，我们的方法能够捕捉到细粒度语义。同时，我们引入了一个新的预训练任务，通过实现超点的语义对齐来进一步提高表示能力。此外，为了解决动态点云时间维度的高冗余性问题，我们提出了一种选择策略来保留适当的负样本，并利用其他实例中的高相似样本作为正样本的补充。大量实验证明我们的方法在各种下游任务上优于有监督对应方法，并展示了学到的表示的卓越可迁移性。

    Aug, 2023

  • ContrastMotion: 大规模 LiDAR 点云自监督场景运动学习

    提出一种基于 LiDAR 的自主驾驶的自监督运动估计器，采用特征级一致性预测场景运动，使用 Soft 判别损失进行对比学习，使用门控多帧融合块自动学习点云帧之间的有效补偿，最终通过支柱关联预测支柱对应概率，进而预测场景运动。

    Apr, 2023