CVPRMar, 2023

CLIP$^2$: 来自现实世界点云数据的对比语言 - 图像 - 点预训练

PDF
TL;DR本文提出 Contrastive Language-Image-Point Cloud Pretraining (CLIP2) 方法，通过建立二三维场景对齐的实例文本 - 图像 - 点云代理和交叉模态对比学习策略，直接学习可迁移的三维点云表示，并在室内和室外场景中实验验证了其在零样本和少样本三维识别任务中的显著性能提升。
contrastive language-image-point cloud pretraining3d vision understandingtransferable 3d point cloud representationcross-modal contrastive objectivefew-shot 3d recognition
发现论文，激发创造
  • PointCLIP: 基于 CLIP 的点云理解

    本文基于 Contrastive Vision-Language Pre-training (CLIP) 提出了一种对应 PointCloud 数据和 3D 文本分类的零样本和小样本学习模型 PointCLIP，并通过在 ModelNet10、ModelNet40 和 ScanObjectNN 数据集上的实验证明其有效性。

    Dec, 2021

  • PointCLIP V2: 适应强大 3D 开放世界学习的 CLIP

    本文介绍了一种名为 PointCLIP V2 的 3D 开放世界学习器，它使用对比语言 - 图像预训练（CLIP）以及大规模语言模型来在 3D 点云数据上进行零 - shot 分类、部分分割和物体检测。PointCLIP V2 通过引入现实形状投影模块和自动设计更具描述性的 3D - 语义暗示，显著超越了 PointCLIP 的性能。

    Nov, 2022

  • CLIP2Point：使用图像深度预训练将 CLIP 转换为点云分类

    提出了一种新的基于对比学习的图像 - 深度预训练方法 CLIP2Point，通过加强深度特征捕捉视觉和文本特征，增强深度聚合不变性，以实现将 CLIP 知识转移到 3D 视觉，并在零样本和少样本分类任务上实现了最优结果。

    Oct, 2022

  • Multi-CLIP：针对 3D 场景中问答任务的对比视觉语言预训练

    本研究提出一种名为 MULTI-CLIP 的 3D 预训练视觉语言模型，可有效提高现有 3D 视觉问答任务的表现并构建出具有良好结构的 3D 场景特征空间。

    Jun, 2023

  • CLIP2Scene: 基于 CLIP 的高效场景理解

    本文介绍了一种简单而有效的框架 CLIP2Scene，通过从二维预训练模型中转移知识到三维点云网络，利用语义和时空一致性正则化来预训练三维网络，实现了三维场景理解任务，并在多个数据集上进行了实验验证，其中包括无注释的 3D 语义分割，mIoU 在 nuScenes 和 ScanNet 数据集上分别达到了 20.8% 和 25.08%。

    Jan, 2023

  • CLIP 引导的视觉 - 语言预训练用于 3D 场景问答

    本文介绍了一种新颖的 3D 预训练视觉 - 语言方法，将来自 2D 图像的语言知识和视觉概念应用于 3D 世界的理解，使用流行的 CLIP 模型代入编码的 3D 场景特征以评估其 3D 世界推理能力，并在 3D 视觉问答下游任务中证明了该方法的优越性和可解释性。

    Apr, 2023

  • 文本和 3D 点云的联合表示学习

    本文提出了一种新型的 Text4Point 框架，通过利用 2D 图像作为连接点云和语言模态的桥梁，建立图像和点云的对应关系，从而通过对比学习将其对齐；并进一步引入文本查询模块，查询点云特征的文本嵌入，将语言信息整合到 3D 表示学习中，提高各种下游任务的性能。

    Jan, 2023

  • CLIP 在学习 3D 中的应用

    通过两个无监督方法，我们提出了 $I2I$ 和 $(I2L)^2$，利用 CLIP 关于文本和 2D 数据的知识，计算两个 3D 样本之间的神经感知相似度，从而在没有文本描述的情况下增强对比的文本 - 图像 - 3D 对齐，通过自定义损失函数和硬负样本挖掘建立多模态对比流程，我们的方法在 3D 分类和跨模态检索基准测试方面取得了与之前方法相媲美甚至更优的性能，显著改善了图像到形状和形状到图像的检索效果。

    Jun, 2024

  • GS-CLIP: 从真实世界数据进行对比度语言 - 图像 - 3D 预训练的高斯飞溅

    提出 GS-CLIP 方法将 3D 高斯粒化引入多模态预训练，以增强 3D 表示，并通过预训练的视觉 - 语言模型和 3D 编码器对 3D 高斯粒化进行优化，实现全局显式特征的提取和融合。实验证明，GS-CLIP 显著提高了最新研究成果，超越了先前最好的结果。

    Feb, 2024

  • 跨模态自训练：无需标签的图像与点云对齐学习分类

    通过使用 Cross-MoST 优化框架，结合 CLIP 等 2D 视觉语言模型，可以提高无需标签的零样本 3D 视觉模型的分类性能，并且实现图像和点云模态之间的跨模态知识交流。

    Apr, 2024