Oct, 2023

Uni3D: 在规模上探索统一的三维表示

PDF
TL;DR通过 Uni3D，我们提出了一种可扩展的 3D 对象和场景表示方法，利用 2D 模型作为初始化，并通过图像 - 文本对齐模型作为目标，解锁了 2D 模型和扩展策略在 3D 世界中的潜力，并在许多 3D 任务中取得了新的成绩，如零样本分类、少样本分类、开放世界理解和部分分割，并展示了 Uni3D 在野外环境中进行的 3D 绘画和检索等应用。我们相信，Uni3D 为探索 3D 领域的表示扩展和效率提供了新的方向。
scalable representation3d objects3d scenesuni3dscaling-up strategies
发现论文，激发创造
  • Uni3DL: 三维和语言理解的统一模型

    Uni3DL 是一个统一的 3D 和语言理解模型，它运用于点云而不是传统的多视图图像，实现了对多种 3D 任务的支持，包括语义分割、目标检测、实例分割、视觉定位、3D 字幕和文本 - 3D 跨模态检索，并且在性能上超过了最先进的特定任务模型。

    Dec, 2023

  • Uni3D: 多数据集三维物体检测的统一基线

    该论文研究了如何训练一个来自多个数据集的统一 3D 检测器，提出了一种名为 Uni3D 的方法来解决数据级别和分类学级别的差异，证明了该方法的有效性并对进一步的 3D 泛化研究具有启发意义。

    Mar, 2023

  • 统一场景表示和重建用于三维大型语言模型

    本研究通过引入 Uni3DR^2 提取 3D 几何和语义感知表示特征的统一场景表示和重建框架，证明了该框架对于大型语言模型在 3D 场景中的重要性，并在多个实验中取得了令人信服的结果。

    Apr, 2024

  • UniM-OV3D：使用细粒度特征表示的单模态开放词汇三维场景理解

    本文提出了一种统一的多模态三维开放词汇场景理解网络 (UniM-OV3D)，通过对齐点云、图像、语言和深度信息，设计了一个分层点云特征提取模块并使用了层次化三维标题对来提高粗到细点云语义表示学习，实验结果表明我们的方法在室内外基准测试中实现了开放式语义和实例分割的最先进性能。

    Jan, 2024

  • UniG3D：统一的三维物体生成数据集

    UniG3D 是一个统一的 3D 对象生成数据集，采用 Objaverse 和 ShapeNet 数据集的通用数据转换管道，并使用渲染引擎和多模态模型将每个原始的 3D 模型转换成包含文本、图像、点云和网格的综合多模态数据表示，该数据集可应用于任何 3D 数据集中。

    Jun, 2023

  • 构建通用 3D 大规模感知强预训练基准

    通过构建一个 CSC 框架，我们综合使用视觉基础模型提供的语义线索和多模态信息的知识丰富的跨场景原型，实现了一种具有各种下游任务的更少微调工作量的通用 3D 预训练模型。

    May, 2024

  • PonderV2：铺设通向通用预训练范式的 3D 基础模型之路

    通过可微分神经渲染，我们提出了一个新的通用方法来学习点云表示，实现了 3D 和 2D 之间的无缝集成，并在室内和室外场景中的多个任务中实现了卓越的性能和持续改进。

    Oct, 2023

  • ULIP: 学习用于三维理解的统一语言、图像和点云表示

    本篇论文提出了利用 ULIP 从图像、文本和 3D 点云中预训练而来的对象三元组学习统一的表示，以提高在受限数据情况下的 3D 理解，实验证明了该方法与多个最近的 3D 骨干网有着显著的提升。

    Dec, 2022

  • 可扩展的三维对象为中心学习的变异推断

    我们提出了一种可伸缩的无监督面向对象中心的 3D 场景表示学习方法，通过学习在局部对象坐标系统中视角不变的 3D 对象表示，从而推断和维护 3D 场景的对象中心表示，并优于以前的模型。

    Sep, 2023

  • 通过提问实现三维视觉与语言理解的统一化

    通过统一各种三维场景表示方法，使用可提示的查询（Promptable Queries）解决低级实例分割至高级推理与规划等广泛的三维视觉语言任务的统一模型（PQ3D）。在十个多样化的三维视觉语言数据集上进行测试，PQ3D 在这些任务中表现出令人印象深刻的性能，并在大多数基准测试中创造了新记录。

    May, 2024