本篇论文提出了利用 ULIP 从图像、文本和 3D 点云中预训练而来的对象三元组学习统一的表示，以提高在受限数据情况下的 3D 理解，实验证明了该方法与多个最近的 3D 骨干网有着显著的提升。

Dec, 2022

通过扩展多模态大语言模型 (MLLMs) 的感知能力以在三维空间中对图像进行定位和推理，本研究引入了一个名为 Cube-LLM 的新 MLLM，并在 LV3D 数据集上进行预训练，实验表明 Cube-LLM 在整体 MLLM 和特定领域的基准测试中均表现出色，并取得了显著的成果。

May, 2024

提出一个统一框架的预训练模型，通过 Mixture-of-Denoisers 目标函数实现不同预训练目标的整合，将不同的预训练范例结合在一起，对于多个不同领域的数据集都具有普适性，并在规模为 20B 参数下的 50 个 NLP 任务上取得了最先进的表现。

May, 2022

通过引入多视图联合模态建模方法，该研究论文提出了一种名为 JM3D 的新方法，以解决 3D 表示学习中的信息降解和不足协同问题，并在零样本 3D 分类任务上取得了领先于现有方法的性能。

Aug, 2023

通过 TriAdapter Multi-Modal Learning（TAMM），在多模态预训练中引入了三个协同适配器，以更有效地利用 2D 图像和语言模态，缩小 3D 形状数据集的规模限制，提高对 3D 形状的理解和表示学习。

Feb, 2024

该研究提出了一个名为 SimIPU 的简单而有效的 2D 图像和 3D 点云无监督预训练策略，利用点云提供空间信息，通过对比学习框架来生成空间感知的图像表示。这是第一次探索对配对的相机图像和 LIDAR 点云进行对比学习预训练策略。

Dec, 2021

本文提出了一种联合学习视觉、文本和不对齐图像和文本语料库之间的符号对齐的端到端 UNIMO-2 统一模态预训练框架，采用 “基础学习” 方案，成功地提高了一些跨模态任务的性能与视觉和文本语义对齐。

Mar, 2022

我们构建了一个包含 75K 个指令 - 回答对的广泛数据集，针对 3D 场景进行了任务，如 3D VQA、3D grounding 和 3D conversation，并引入了一种名为 3DMIT 的新颖且高效的提示调优范例，通过将 3D 空间信息整合到 LLMs 中，使其更好地理解 3D 世界。

Jan, 2024

本文介绍了一种名为 ViT-Lens 的方法，通过使用预训练的 ViT 模型感知新颖形式的多模态数据，并与预定义空间进行对齐，从而实现高效的全模态表示学习。在以 3D 为例的验证中，ViT-Lens 在零样本 3D 分类任务中取得了显著的改进，同时还成功将训练好的 3D lens 集成到 InstructBLIP 模型中实现了零样本 3D 问答。

Aug, 2023

本研究探讨了如何扩展多模态大型语言模型 (MLLMs) 对区域对象的理解能力，提出了一种提取区域对象特征作为 LLM 的软提示的方法，并通过新颖的 position-assisted 特征提取模块有效地从图像和点云数据中提取区域特征，通过冻结预训练的 MLLM 并对新增模态的参数进行优化，无需进行大规模的图像 - 文本数据预训练即可达到对图像和文本的理解能力，实验证明该方法能够保留 BILP-2 的图像理解能力，并进一步获取对点云模态和区域对象的理解。

Aug, 2023