May, 2023

ULIP-2: 面向可伸缩的多模态3D预训练

HTML
PDF
TL;DRULIP-2是一个用于3D表示学习的多模态预训练框架，它创建了包含图像、语言和3D点云的三模态三元组数据集，拥有更强的可扩展性和综合性，并利用大型语言模型自动生成全面的3D对象语言描述来提高多模态预训练的效果，并在ModelNet40和ScanObjectNN等数据集上取得了令人瞩目的结果。
发现论文，激发创造
  • PointCLIP V2: 适应强大3D开放世界学习的CLIP

    本文介绍了一种名为PointCLIP V2的3D开放世界学习器，它使用对比语言-图像预训练（CLIP）以及大规模语言模型来在3D点云数据上进行零-shot分类、部分分割和物体检测。PointCLIP V2通过引入现实形状投影模块和自动设计更具描述性的3D-语义暗示，显著超越了PointCLIP的性能。

    Nov, 2022

  • ULIP: 学习用于三维理解的统一语言、图像和点云表示

    本篇论文提出了利用ULIP从图像、文本和3D点云中预训练而来的对象三元组学习统一的表示，以提高在受限数据情况下的3D理解，实验证明了该方法与多个最近的3D骨干网有着显著的提升。

    Dec, 2022

  • 超越第一印象:整合多模态联合线索用于全面的3D表示

    通过引入多视图联合模态建模方法，该研究论文提出了一种名为JM3D的新方法，以解决3D表示学习中的信息降解和不足协同问题，并在零样本3D分类任务上取得了领先于现有方法的性能。

    Aug, 2023

  • Uni3D: 在规模上探索统一的三维表示

    通过Uni3D，我们提出了一种可扩展的3D对象和场景表示方法，利用2D模型作为初始化，并通过图像-文本对齐模型作为目标，解锁了2D模型和扩展策略在3D世界中的潜力，并在许多3D任务中取得了新的成绩，如零样本分类、少样本分类、开放世界理解和部分分割，并展示了Uni3D在野外环境中进行的3D绘画和检索等应用。我们相信，Uni3D为探索3D领域的表示扩展和效率提供了新的方向。

    Oct, 2023

  • TAMM：三适配器多模态学习用于3D形状理解

    通过TriAdapter Multi-Modal Learning（TAMM），在多模态预训练中引入了三个协同适配器，以更有效地利用2D图像和语言模态，缩小3D形状数据集的规模限制，提高对3D形状的理解和表示学习。

    Feb, 2024

  • 统一场景表示和重建用于三维大型语言模型

    本研究通过引入Uni3DR^2提取3D几何和语义感知表示特征的统一场景表示和重建框架，证明了该框架对于大型语言模型在3D场景中的重要性，并在多个实验中取得了令人信服的结果。

    Apr, 2024

  • MMScan：多模态3D场景数据集与分层语义标注

    建立了首个最大的多模态三维场景数据集与基准，并通过层次语言注释进行了多模态三维感知研究，为领域相关问题提供了重要的资源。

    Jun, 2024

  • 更多文本，较少点：走向3D数据高效点语言理解

    本研究针对当前3D理解领域中缺乏大规模3D-文本配对数据集的问题，提出了一种新任务：3D数据高效点语言理解。我们引入GreenPLM，通过利用更多文本数据来弥补3D数据的不足，使LLM能够在仅需少量3D点云和文本对的情况下，实现稳健的3D物体理解。实验结果表明，GreenPLM只需现有模型12%的3D训练数据便可达到优越的3D理解性能。

    Aug, 2024

  • 更多文本，更少点：迈向3D数据高效的点-语言理解

    本研究解决了大型语言模型在理解3D物理世界时缺乏大规模3D-文本对数据集的问题。通过引入GreenPLM，我们利用更多文本数据来弥补3D数据的不足，实现了对3D对象的稳健理解。实验结果表明，GreenPLM只需12%的3D训练数据就能实现卓越的3D理解能力，并且在仅使用文本数据时也能表现出竞争力。

    Aug, 2024

  • LLaVA-3D：一个简单而有效的通路，赋能大规模多模态模型以具备3D意识

    本研究针对缺乏大规模3D视觉语言数据集和强大3D编码器的问题，提出了一种简单有效的框架LLaVA-3D。该方法结合了LLaVA的强大2D理解能力与3D Patch表示，实现在2D理解不受损的情况下，提升3D场景理解能力，实验结果显示LLaVA-3D在训练速度和性能上均超过现有的3D多模态模型。

    Sep, 2024