跨模态自训练：无需标签的图像与点云对齐学习分类

CVPRApr, 2024

跨模态自训练：无需标签的图像与点云对齐学习分类

Cross-Modal Self-Training: Aligning Images and Pointclouds to Learn Classification without Labels

Amaya Dharmasiri, Muzammal Naseer, Salman Khan, Fahad Shahbaz Khan

TL;DR通过使用 Cross-MoST 优化框架，结合 CLIP 等 2D 视觉语言模型，可以提高无需标签的零样本 3D 视觉模型的分类性能，并且实现图像和点云模态之间的跨模态知识交流。

Abstract

Large-scale vision 2D vision language models, such as CLIP can be aligned with a 3D encoder to learn generalizable (open-vocabulary) 3d vision models. However, current methods require supervised pre-training for such alignment, and the performance of such 3D zero-shot models remains su

large-scale vision models 3d vision models cross-most zero-shot 3d vision model cross-modal knowledge exchange

发现论文，激发创造

CrossPoint: 自监督的跨模态对比学习，用于三维点云理解

本研究提出了一种名为 CrossPoint 的简单跨模态对比学习方法，通过自监督学习，在不需要人类标注的情况下，实现可转移的三维点云表示，通过最大化点云和相应渲染的二维图像之间的协议，实现了三维物体分类和分割等多项任务，并验证了我们的方法在提高点云理解方面的效果。

Mar, 2022

跨模态和跨域知识迁移对无标签 3D 分割

通过探索图像和点云之间的关系并设计有效的特征对齐策略，我们提出了一种新颖的方法来解决具有挑战性的跨模态和跨域自适应任务，在没有任何 3D 标签的情况下，我们的方法利用 KITTI360 和 GTA5 的知识，在 SemanticKITTI 上达到了 3D 点云语义分割的最先进性能，相比现有的无监督和弱监督基准。

Sep, 2023

CLIP$^2$: 来自现实世界点云数据的对比语言 - 图像 - 点预训练

本文提出 Contrastive Language-Image-Point Cloud Pretraining (CLIP2) 方法，通过建立二三维场景对齐的实例文本 - 图像 - 点云代理和交叉模态对比学习策略，直接学习可迁移的三维点云表示，并在室内和室外场景中实验验证了其在零样本和少样本三维识别任务中的显著性能提升。

Mar, 2023

将 CLIP 的知识转化为零样本点云语义分割

本文提出了一种简单而有效的基线方法，将 CLIP 中的视觉语言知识在特征和输出层面上转移到点云编码器，从而在零样本点云语义分割中取得了显著的性能提升，并在无标注点云语义分割设置中取得了有希望的结果，展示了其在标签效率学习方面的巨大潜力。

Dec, 2023

跨模态和跨视角自监督特征学习

通过利用跨模式和视角的对应关系，该论文提出了一种新颖且有效的自监督学习方法，联合学习 2D 图像特征和 3D 点云特征，并通过神经网络评估跨模态的对应关系，而无需使用人工标注标签。

Apr, 2020

交叉 BERT 用于点云预训练

通过引入 BERT 到跨模态的环境中，本文提出了一种新的跨模态 BERT 风格的自监督学习范式，称为 Cross-BERT，通过探索相同对象 / 场景的 2D 和 3D 数据之间的隐含语义和几何关系来提高 3D 点云表示的性能，以及 BERT 在不同模态之间的传递能力。

Dec, 2023

PointCLIP: 基于 CLIP 的点云理解

本文基于 Contrastive Vision-Language Pre-training (CLIP) 提出了一种对应 PointCloud 数据和 3D 文本分类的零样本和小样本学习模型 PointCLIP，并通过在 ModelNet10、ModelNet40 和 ScanObjectNN 数据集上的实验证明其有效性。

Dec, 2021

更多观点，更多了解：通过多模态视觉数据进行零样本点云分割

零射点云分割方法探索了如何识别在训练阶段未见过的点云中的新物体，并利用深度模型从已标记的已知类别转移知识到未标记的未知类别，提出了一种新颖的多模态零射学习方法，以更准确地对齐视觉和语义特征，在两个流行的基准数据集 SemanticKITTI 和 nuScenes 上进行的实验表明，我们的方法在未见类别 mIoU 上分别取得了 52% 和 49% 的提升，超过了当前的最佳方法。

Jul, 2023

利用图像获取更多信息：点云跨模态训练用于形状分析

本文介绍了一种称为 PointCMT 的简单而有效的点云交叉模态训练策略，通过使用视图图像（即三维对象的渲染或投影的二维图像）来促进点云分析，进而更好地实现了三维点云表征。实验证明，PointCMT 有效地改进了点云的表示方法，在不修改架构的情况下，基于 PointCMT 的模型在 ModelNet40 和 ScanObjectNN 等各种数据集上均实现了最先进的性能。

Oct, 2022

Multi-CLIP：针对 3D 场景中问答任务的对比视觉语言预训练

本研究提出一种名为 MULTI-CLIP 的 3D 预训练视觉语言模型，可有效提高现有 3D 视觉问答任务的表现并构建出具有良好结构的 3D 场景特征空间。

Jun, 2023