ICCVAug, 2023

基于语义聚类的点云视频自监督学习的点对比预测

PDF
TL;DR我们提出了一个统一的点云视频自监督学习框架，用于面向对象和面向场景的数据。通过在点级别进行对比学习，我们的方法能够捕捉到细粒度语义。同时，我们引入了一个新的预训练任务，通过实现超点的语义对齐来进一步提高表示能力。此外，为了解决动态点云时间维度的高冗余性问题，我们提出了一种选择策略来保留适当的负样本，并利用其他实例中的高相似样本作为正样本的补充。大量实验证明我们的方法在各种下游任务上优于有监督对应方法，并展示了学到的表示的卓越可迁移性。
point cloudself-supervised learningcontrastive learningsemantic alignmenttransferability
发现论文，激发创造
  • 半监督点云语义分割的引导点对比学习

    本文介绍了一种半监督点云语义分割方法，使用伪标签指导其损失函数，并提出了一种基于对比损失的方法来增强特征表示和模型的泛化能力。实验证明，该方法在三个数据集上都可以有效地提高预测质量。

    Oct, 2021

  • PointCMP：基于对比掩膜预测的点云视频自监督学习

    本文提出了 PointCMP 的对比度掩膜预测框架，用于自我监督学习点云视频，实现了同时学习局部和全局位相信息，并通过互相相似的数据增强模块生成艰难的样本。实验表明，PointCMP 实现了基准数据集上的最先进性能，并优于现有的全面监督对应。传递学习结果证明了学习表示在不同数据集和任务之间具有优越性。

    May, 2023

  • 用于动态点云自监督学习的对比预测自编码器

    本文提出了一种新的自监督范式来处理点云序列理解问题，设计了两个任务：基于点云序列的对比预测和重建（CPR）来协同学习更全面的时空表示。通过组合传统的对比和重建范例，使得学习到的表示在全局判别和局部感知方面都更加优越。

    May, 2023

  • CrossPoint: 自监督的跨模态对比学习，用于三维点云理解

    本研究提出了一种名为 CrossPoint 的简单跨模态对比学习方法，通过自监督学习，在不需要人类标注的情况下，实现可转移的三维点云表示，通过最大化点云和相应渲染的二维图像之间的协议，实现了三维物体分类和分割等多项任务，并验证了我们的方法在提高点云理解方面的效果。

    Mar, 2022

  • CrossVideo: 点云视频理解的自监督跨模态对比学习

    本文介绍了一种名为 CrossVideo 的新方法，旨在增强点云视频理解领域的自监督跨模态对比学习。通过利用点云视频和图像视频之间的跨模态关系获取有意义的特征表示，我们提出了一种自监督学习方法来解决数据稀缺和标签获取困难的问题。通过使用单模态和跨模态对比学习技术，我们实现了对点云视频的有效理解，并提出了一种适用于两种模态的多层对比方法。通过广泛的实验证明，我们的方法明显超过了先前的最先进方法，并进行了全面的消融研究来验证我们提出的设计的有效性。

    Jan, 2024

  • GroupContrast：语义感知的自监督学习用于三维理解

    自我监督的 3D 表示学习旨在从大规模未标记的点云中学习有效的表示。我们提出了 GroupContrast，一种将分段分组和语义感知对比学习相结合的新方法，通过分段分组提高语义一致性并为后续的对比表示学习提供语义指导，从而减轻了 “语义冲突” 问题。

    Mar, 2024

  • 点云联合实体实例化和语义分割的自预测

    我们提出了一种名为 Self-Prediction 的学习模式，用于处理点云的三维实例和语义分割问题。我们的方法强调了点关系探索方面的新学习模式，与大多数现有方法不同，该方法通过自我预测任务来训练骨干网络，从而使模型更好地探索关系、几何和形状信息并学习更具有区分性的特征进行分割，实现了在 S3DIS 和 ShapeNet 上实例分割结果的最先进性，并只使用 PointNet ++ 作为骨干网络时与现有技术的语义分割结果相当。

    Jul, 2020

  • 自监督点云学习中的硬负采样自对比学习

    本研究提出了自对比学习方法用于自我监督点云表示学习，以捕捉点云的局部几何模式和非局部语义基元。实验结果表明，该方法在自我监督点云分割和分类转移学习等领域的基准数据集上取得了最先进的性能。

    Jul, 2021

  • 点云上的自监督少样本学习

    该论文提出了两种新型的自监督预训练方法，利用覆盖树对点云进行分层划分，从而避免手动注释点云所导致的困难；并针对少样本学习设置，让学习网络对支持集的点云嵌入进行预训练。实验表明，利用该自监督学习方法预训练的有监督方法显著提高了目前最先进方法的准确性，并且该方法在下游的分类任务中也优于先前的无监督方法。

    Sep, 2020

  • 野外点云的时空自监督学习

    本文提出了一种利用空间与时间正对数据的自监督学习策略，该方法包括了点聚集学习和无监督物体跟踪的方法，并通过对两个大规模 LiDAR 数据集的自监督训练和模型迁移得出：该方法在点云分割领域胜过现有的、只利用空间信息或忽略时序性质的自监督学习方法。

    Mar, 2023