CVPRDec, 2022

ULIP: 学习用于三维理解的统一语言、图像和点云表示

PDF
TL;DR本篇论文提出了利用 ULIP 从图像、文本和 3D 点云中预训练而来的对象三元组学习统一的表示，以提高在受限数据情况下的 3D 理解，实验证明了该方法与多个最近的 3D 骨干网有着显著的提升。
multimodal information3d understandingulippre-training3d backbones
发现论文，激发创造
  • ULIP-2: 面向可伸缩的多模态 3D 预训练

    ULIP-2 是一个用于 3D 表示学习的多模态预训练框架，它创建了包含图像、语言和 3D 点云的三模态三元组数据集，拥有更强的可扩展性和综合性，并利用大型语言模型自动生成全面的 3D 对象语言描述来提高多模态预训练的效果，并在 ModelNet40 和 ScanObjectNN 等数据集上取得了令人瞩目的结果。

    May, 2023

  • SimIPU: 简单的二维图片和三维点云无监督预训练，用于具有空间感的视觉表征

    该研究提出了一个名为 SimIPU 的简单而有效的 2D 图像和 3D 点云无监督预训练策略，利用点云提供空间信息，通过对比学习框架来生成空间感知的图像表示。这是第一次探索对配对的相机图像和 LIDAR 点云进行对比学习预训练策略。

    Dec, 2021

  • CLIP$^2$: 来自现实世界点云数据的对比语言 - 图像 - 点预训练

    本文提出 Contrastive Language-Image-Point Cloud Pretraining (CLIP2) 方法，通过建立二三维场景对齐的实例文本 - 图像 - 点云代理和交叉模态对比学习策略，直接学习可迁移的三维点云表示，并在室内和室外场景中实验验证了其在零样本和少样本三维识别任务中的显著性能提升。

    Mar, 2023

  • 文本和 3D 点云的联合表示学习

    本文提出了一种新型的 Text4Point 框架，通过利用 2D 图像作为连接点云和语言模态的桥梁，建立图像和点云的对应关系，从而通过对比学习将其对齐；并进一步引入文本查询模块，查询点云特征的文本嵌入，将语言信息整合到 3D 表示学习中，提高各种下游任务的性能。

    Jan, 2023

  • PointCLIP: 基于 CLIP 的点云理解

    本文基于 Contrastive Vision-Language Pre-training (CLIP) 提出了一种对应 PointCloud 数据和 3D 文本分类的零样本和小样本学习模型 PointCLIP，并通过在 ModelNet10、ModelNet40 和 ScanObjectNN 数据集上的实验证明其有效性。

    Dec, 2021

  • 统一场景表示和重建用于三维大型语言模型

    本研究通过引入 Uni3DR^2 提取 3D 几何和语义感知表示特征的统一场景表示和重建框架，证明了该框架对于大型语言模型在 3D 场景中的重要性，并在多个实验中取得了令人信服的结果。

    Apr, 2024

  • 超越第一印象：整合多模态联合线索用于全面的 3D 表示

    通过引入多视图联合模态建模方法，该研究论文提出了一种名为 JM3D 的新方法，以解决 3D 表示学习中的信息降解和不足协同问题，并在零样本 3D 分类任务上取得了领先于现有方法的性能。

    Aug, 2023

  • Uni3DL: 三维和语言理解的统一模型

    Uni3DL 是一个统一的 3D 和语言理解模型，它运用于点云而不是传统的多视图图像，实现了对多种 3D 任务的支持，包括语义分割、目标检测、实例分割、视觉定位、3D 字幕和文本 - 3D 跨模态检索，并且在性能上超过了最先进的特定任务模型。

    Dec, 2023

  • 图像 - 文本 - 标签空间统一的对比学习

    该研究提出了一种新型的学习范式 - 统一对比学习（UniCL），通过将人类标注的图像标签数据和网络爬取的图像文本数据相结合，学习出在零样本，线性探测，完全微调和迁移学习方案中具有语义丰富而有区分性的表示。在各种基准测试中，UniCL 的性能均优于语言图像对比学习和监督学习方法，并且在纯图像标签数据上，其表现也不亚于监督学习方法。

    Apr, 2022

  • 语言引导下统一的医学图像预训练在共同语义空间中

    借助统一的语义空间，UniMedI 提出了一种统一医学图像预训练框架，能够有效地为不同模态的医学图像创建统一的表示，并通过改进对 2D 和 3D 图像的分析和解释来提高一致性和性能。

    Nov, 2023