Apr, 2024

缓解物体依赖关系：通过物体交换改进点云自监督学习

PDF
TL;DR在点云场景理解领域中，尤其是在室内场景中，对象按照人类习惯排列，导致具有一定语义的对象相互靠近并显示显著的对象间相关性。为了解决这个挑战，我们引入了一种新颖的自监督学习策略，通过利用对象模式和上下文提示来产生稳健的特征。我们的方法首先制定了一种对象交换策略，通过在不同场景中交换大小相近的对象对来有效地解开强上下文相关性。随后，我们引入了一种上下文感知特征学习策略，通过在各种场景中聚合对象特征来编码对象模式，而无需依赖它们的特定背景。我们广泛的实验证明了我们方法的优越性，进一步展示了其对环境变化具有更好的稳健性。此外，我们通过将预训练模型转移到各种点云数据集中展示了我们方法的适用性。
point cloud scene understandingself-supervised learningcontextual cuesobject patternsrobust features
发现论文，激发创造
  • 野外点云的时空自监督学习

    本文提出了一种利用空间与时间正对数据的自监督学习策略，该方法包括了点聚集学习和无监督物体跟踪的方法，并通过对两个大规模 LiDAR 数据集的自监督训练和模型迁移得出：该方法在点云分割领域胜过现有的、只利用空间信息或忽略时序性质的自监督学习方法。

    Mar, 2023

  • 点云领域自适应的自监督学习

    本篇论文探究了自监督学习在 3D 感知问题的领域自适应中的应用，通过提出基于形变重构的预训练任务以及一种名为 PCM 的新颖训练流程，对分类和分割的领域适应数据集进行了评估，取得了相较于现有和基准方法的巨大改进。

    Mar, 2020

  • 点云数据的自监督学习：综述

    本文介绍了近期基于 DNN 的点云 SSL 的综述，包括定义、动机、背景、基于几种常见 Task-agnostic 预训练的创新分类方法，以及对于基准数据集的实验结果总结，最终给出了针对当前点云 SSL 限制的改进和未来研究方向。

    May, 2023

  • CrossPoint: 自监督的跨模态对比学习，用于三维点云理解

    本研究提出了一种名为 CrossPoint 的简单跨模态对比学习方法，通过自监督学习，在不需要人类标注的情况下，实现可转移的三维点云表示，通过最大化点云和相应渲染的二维图像之间的协议，实现了三维物体分类和分割等多项任务，并验证了我们的方法在提高点云理解方面的效果。

    Mar, 2022

  • 场景图像的多标签自监督学习

    使用多标签自监督学习（MLS）方法，通过将场景 / 多标签图像的自监督学习简化为多标签分类问题，我们可以学习到高质量的图像表示，该方法在 MS-COCO 上获得了分类、检测和分割方面的最先进结果，并且比现有的方法简单易用，便于部署和进一步探索。

    Aug, 2023

  • 物体发现和表示网络

    Odin 是一种自我监督学习范式，通过耦合对象发现和表征网络来自主发现有意义的图像分割，而无需人工干预，可实现 COCO 目标检测、实例分割及 PASCAL、Cityscapes 的语义分割等领域的迁移学习效果，并在 DAVIS 视频分割方面超越监督预训练的方法。

    Mar, 2022

  • 基于半监督开放集的三维点云理解学习

    本研究提出了一种基于样本加权的半监督 3D 点云学习方法，通过双层优化框架估计权重并引入三种正则化技术，提高了模型的稳定性和准确性。实验结果表明该方法在 3D 点云分类和分割任务中具有有效性和可行性。

    May, 2022

  • 使用局部对比损失的自监督学习，用于检测和语义分割

    提出了一种自监督学习方法，适用于对象检测和语义分割等半全局任务，通过在训练期间最小化像素级的本地对比损失（LC-loss），在自学习特征中强制实现对变换后的同一图像的相应图像位置之间的本地一致性，可将 LC-loss 添加到现有的自监督学习方法中，并在 COCO、PASCAL VOC 和 CityScapes 数据集上评估 SSL 方法，结果比现有的先进自监督学习方法在 COCO 对象检测、PASCAL VOC 检测和 CityScapes 分割等任务上分别提高了 1.9％，1.4％和 0.6％。

    Jul, 2022

  • 通过解耦优化进行大规模点云语义分割的类别不平衡半监督学习

    我们介绍了一种新的解耦优化框架，通过交替优化方式解决了现有基于半监督学习的方法中存在的严重训练偏差问题，主要是由于类别不平衡和点云数据的长尾分布导致了尾部类别分割的偏置预测。

    Jan, 2024

  • 基于语义聚类的点云视频自监督学习的点对比预测

    我们提出了一个统一的点云视频自监督学习框架，用于面向对象和面向场景的数据。通过在点级别进行对比学习，我们的方法能够捕捉到细粒度语义。同时，我们引入了一个新的预训练任务，通过实现超点的语义对齐来进一步提高表示能力。此外，为了解决动态点云时间维度的高冗余性问题，我们提出了一种选择策略来保留适当的负样本，并利用其他实例中的高相似样本作为正样本的补充。大量实验证明我们的方法在各种下游任务上优于有监督对应方法，并展示了学到的表示的卓越可迁移性。

    Aug, 2023