Mar, 2022

CrossPoint: 自监督的跨模态对比学习，用于三维点云理解

HTML
PDF
TL;DR本研究提出了一种名为CrossPoint的简单跨模态对比学习方法，通过自监督学习，在不需要人类标注的情况下，实现可转移的三维点云表示，通过最大化点云和相应渲染的二维图像之间的协议，实现了三维物体分类和分割等多项任务，并验证了我们的方法在提高点云理解方面的效果。
发现论文，激发创造
  • 跨模态和跨视角自监督特征学习

    通过利用跨模式和视角的对应关系，该论文提出了一种新颖且有效的自监督学习方法，联合学习2D图像特征和3D点云特征，并通过神经网络评估跨模态的对应关系，而无需使用人工标注标签。

    Apr, 2020

  • 自监督的模态与视角不变特征学习

    该论文提出了基于异构网络的多模式和多视角无关特征学习方法，通过两种约束条件实现特征信息的跨模式和跨视角一致性，并在三种数据模态下进行了验证。实验结果表明该方法能够提取出鲁棒性较强的高质量特征。

    May, 2020

  • 自监督点云学习中的硬负采样自对比学习

    本研究提出了自对比学习方法用于自我监督点云表示学习，以捕捉点云的局部几何模式和非局部语义基元。实验结果表明，该方法在自我监督点云分割和分类转移学习等领域的基准数据集上取得了最先进的性能。

    Jul, 2021

  • 利用图像获取更多信息：点云跨模态训练用于形状分析

    本文介绍了一种称为PointCMT的简单而有效的点云交叉模态训练策略，通过使用视图图像（即三维对象的渲染或投影的二维图像）来促进点云分析，进而更好地实现了三维点云表征。 实验证明，PointCMT有效地改进了点云的表示方法，在不修改架构的情况下，基于PointCMT的模型在ModelNet40和ScanObjectNN等各种数据集上均实现了最先进的性能。

    Oct, 2022

  • 基于对比学习的跨模态信息导向网络用于点云配准

    利用跨模态信息建议的网络(CMIGNet)实现精确和稳健的点云配准，通过投影图像和交叉模态特征融合，采用两种对比学习策略，并提出了一个遮罩预测模块以识别点云中的关键点，实验证明我们的网络具有优越的配准性能。

    Nov, 2023

  • 交叉BERT用于点云预训练

    通过引入BERT到跨模态的环境中，本文提出了一种新的跨模态BERT风格的自监督学习范式，称为Cross-BERT，通过探索相同对象/场景的2D和3D数据之间的隐含语义和几何关系来提高3D点云表示的性能，以及BERT在不同模态之间的传递能力。

    Dec, 2023

  • CrossVideo: 点云视频理解的自监督跨模态对比学习

    本文介绍了一种名为CrossVideo的新方法，旨在增强点云视频理解领域的自监督跨模态对比学习。通过利用点云视频和图像视频之间的跨模态关系获取有意义的特征表示，我们提出了一种自监督学习方法来解决数据稀缺和标签获取困难的问题。通过使用单模态和跨模态对比学习技术，我们实现了对点云视频的有效理解，并提出了一种适用于两种模态的多层对比方法。通过广泛的实验证明，我们的方法明显超过了先前的最先进方法，并进行了全面的消融研究来验证我们提出的设计的有效性。

    Jan, 2024

  • 跨模态自训练：无需标签的图像与点云对齐学习分类

    通过使用Cross-MoST优化框架，结合CLIP等2D视觉语言模型，可以提高无需标签的零样本3D视觉模型的分类性能，并且实现图像和点云模态之间的跨模态知识交流。

    Apr, 2024

  • 有效对比单元的跨模态自监督学习用于激光雷达点云

    本研究解决了激光雷达点云手动标注困难和成本高的问题，探讨了用于自驾车的3D感知模型的自监督预训练。提出的实例感知和相似性平衡对比单元，显著提升了激光雷达3D目标检测和语义分割的性能，尤其是在多种基准数据集上表现出色。

    Sep, 2024

  • Pic@Point：基于局部和全球点-图像对应的跨模态学习

    本研究针对3D数据自监督预训练的缺陷，提出了一种新的对比学习方法Pic@Point，利用结构化的2D-3D对应关系，结合图像线索以优化点云表示。该方法在多个3D基准测试中表现优于现有的预训练技术，展示了其在3D视觉领域的重要潜力。

    Oct, 2024