通过 Uni3D，我们提出了一种可扩展的 3D 对象和场景表示方法，利用 2D 模型作为初始化，并通过图像 - 文本对齐模型作为目标，解锁了 2D 模型和扩展策略在 3D 世界中的潜力，并在许多 3D 任务中取得了新的成绩，如零样本分类、少样本分类、开放世界理解和部分分割，并展示了 Uni3D 在野外环境中进行的 3D 绘画和检索等应用。我们相信，Uni3D 为探索 3D 领域的表示扩展和效率提供了新的方向。

Oct, 2023

该论文研究了如何训练一个来自多个数据集的统一 3D 检测器，提出了一种名为 Uni3D 的方法来解决数据级别和分类学级别的差异，证明了该方法的有效性并对进一步的 3D 泛化研究具有启发意义。

Mar, 2023

通过 Uni3D-LLM，我们引入了一个统一框架，利用大型语言模型（LLM）在点云场景中整合了 3D 感知、生成和编辑任务，从而让用户能够轻松地根据自然语言描述在场景中生成和修改对象，显著提高操作的灵活性和可控性。

Jan, 2024

通过统一各种三维场景表示方法，使用可提示的查询（Promptable Queries）解决低级实例分割至高级推理与规划等广泛的三维视觉语言任务的统一模型（PQ3D）。在十个多样化的三维视觉语言数据集上进行测试，PQ3D 在这些任务中表现出令人印象深刻的性能，并在大多数基准测试中创造了新记录。

May, 2024

本研究通过引入 Uni3DR^2 提取 3D 几何和语义感知表示特征的统一场景表示和重建框架，证明了该框架对于大型语言模型在 3D 场景中的重要性，并在多个实验中取得了令人信服的结果。

Apr, 2024

本文提出了一种统一的多模态三维开放词汇场景理解网络 (UniM-OV3D)，通过对齐点云、图像、语言和深度信息，设计了一个分层点云特征提取模块并使用了层次化三维标题对来提高粗到细点云语义表示学习，实验结果表明我们的方法在室内外基准测试中实现了开放式语义和实例分割的最先进性能。

Jan, 2024

Unified-IO 是一种模型，它可以执行各种人工智能任务，包括传统的计算机视觉任务、视觉与语言任务和自然语言处理任务，通过将每个任务的异构输入和输出转换为离散词汇令其有共同的表示方式，从而实现使用一个单一的基于 transformer 的架构，针对视觉和语言领域的 90 多个不同数据集联合训练，其能够在诸如 NYUv2-Depth、ImageNet、VQA2.0 等 16 个不同基准测试中产生强大的结果，这是第一个不需要针对特定任务进行微调即可执行所有 7 个 GRIT 基准任务的模型。

Jun, 2022

通过对具有语义丰富标题的多视图图像进行记录，来设计分层三维标题对，使用对比学习，学习与图像相连的语言感知嵌入，并在开放词汇语义和实例分割方面表现出卓越的性能，具有鲁棒的可迁移性。

Nov, 2022

UniG3D 是一个统一的 3D 对象生成数据集，采用 Objaverse 和 ShapeNet 数据集的通用数据转换管道，并使用渲染引擎和多模态模型将每个原始的 3D 模型转换成包含文本、图像、点云和网格的综合多模态数据表示，该数据集可应用于任何 3D 数据集中。

Jun, 2023

本篇论文提出了利用 ULIP 从图像、文本和 3D 点云中预训练而来的对象三元组学习统一的表示，以提高在受限数据情况下的 3D 理解，实验证明了该方法与多个最近的 3D 骨干网有着显著的提升。

Dec, 2022