Oct, 2023

Uni3D: 在规模上探索统一的三维表示

HTML
PDF
TL;DR通过Uni3D，我们提出了一种可扩展的3D对象和场景表示方法，利用2D模型作为初始化，并通过图像-文本对齐模型作为目标，解锁了2D模型和扩展策略在3D世界中的潜力，并在许多3D任务中取得了新的成绩，如零样本分类、少样本分类、开放世界理解和部分分割，并展示了Uni3D在野外环境中进行的3D绘画和检索等应用。我们相信，Uni3D为探索3D领域的表示扩展和效率提供了新的方向。
发现论文，激发创造
  • ULIP: 学习用于三维理解的统一语言、图像和点云表示

    本篇论文提出了利用ULIP从图像、文本和3D点云中预训练而来的对象三元组学习统一的表示，以提高在受限数据情况下的3D理解，实验证明了该方法与多个最近的3D骨干网有着显著的提升。

    Dec, 2022

  • Uni3D: 多数据集三维物体检测的统一基线

    该论文研究了如何训练一个来自多个数据集的统一 3D 检测器，提出了一种名为 Uni3D 的方法来解决数据级别和分类学级别的差异，证明了该方法的有效性并对进一步的 3D 泛化研究具有启发意义。

    Mar, 2023

  • ULIP-2: 面向可伸缩的多模态3D预训练

    ULIP-2是一个用于3D表示学习的多模态预训练框架，它创建了包含图像、语言和3D点云的三模态三元组数据集，拥有更强的可扩展性和综合性，并利用大型语言模型自动生成全面的3D对象语言描述来提高多模态预训练的效果，并在ModelNet40和ScanObjectNN等数据集上取得了令人瞩目的结果。

    May, 2023

  • OpenShape: 三维形状表达的扩展，向开放世界理解的规模化发展

    本文介绍 OpenShape 方法，它是一种用于学习文本、图像和点云的多模式联合表示的方法。OpenShape 采用常用的多模式对比学习框架进行表示对齐，但专注于扩展3D表示，以实现开放世界3D形状理解，并通过配合CLIP嵌入实现不同领域的应用。

    May, 2023

  • Lowis3D: 基于语言驱动的开放世界实例级别3D场景理解

    通过使用视觉-语言（VL）基础模型，将图像-文本对中的广义知识应用于3D场景的多视图图像以生成图像描述，在对象级别进行细粒度的视觉-语义表示学习，并通过使用无标签数据上的伪监督训练对象分组模块以解决开放世界环境中的类别定位问题，从而在3D语义、实例和全景分割任务中获得显著的改进。

    Aug, 2023

  • Uni3DL: 三维和语言理解的统一模型

    Uni3DL是一个统一的3D和语言理解模型，它运用于点云而不是传统的多视图图像，实现了对多种3D任务的支持，包括语义分割、目标检测、实例分割、视觉定位、3D字幕和文本-3D跨模态检索，并且在性能上超过了最先进的特定任务模型。

    Dec, 2023

  • UNeR3D：无监督重建中基于2D图像的多用途可扩展的3D RGB点云生成

    通过使用UNeR3D，这篇研究论文提出了一种开创性的无监督方法来从2D图像生成详细的3D重建，同时通过应用逆距离加权技术进行颜色渲染，提高了视觉保真度，并展示了在单视图输入和其他情况下的优越成果，从而重塑了3D视觉中的无监督学习范式。

    Dec, 2023

  • UniM-OV3D：使用细粒度特征表示的单模态开放词汇三维场景理解

    本文提出了一种统一的多模态三维开放词汇场景理解网络(UniM-OV3D)，通过对齐点云、图像、语言和深度信息，设计了一个分层点云特征提取模块并使用了层次化三维标题对来提高粗到细点云语义表示学习，实验结果表明我们的方法在室内外基准测试中实现了开放式语义和实例分割的最先进性能。

    Jan, 2024

  • 统一场景表示和重建用于三维大型语言模型

    本研究通过引入Uni3DR^2提取3D几何和语义感知表示特征的统一场景表示和重建框架，证明了该框架对于大型语言模型在3D场景中的重要性，并在多个实验中取得了令人信服的结果。

    Apr, 2024

  • 一个统一的三维场景理解框架

    提出了UniSeg3D，这是一个统一的三维分割框架，可以在一个模型内完成全景、语义、实例、交互、指向性和开放词汇的语义分割任务。该方法将六个任务统一为由相同Transformer处理的统一表示，促进了任务间的知识共享，从而提升了对三维场景的综合理解。通过利用任务连接，通过设计知识蒸馏和对比学习方法，在多任务统一化的基础上提高了性能。在三个基准测试中的实验证明了UniSeg3D的优越性，即使是那些专门针对特定任务的方法也无法与之相比。希望UniSeg3D能够作为一个坚实的统一基准，并激发未来的研究。

    Jul, 2024