提出了一个名为 Omni3D 的大型测试数据集，其中包含 234k 个图像，涵盖了 98 个类别和 300 万个实例。引入了 Cube R-CNN 模型，能够更好地检测和识别 3D 场景和物体。该数据集可用于加速对新数据集的学习和预训练。

Jul, 2022

在大数据和大型模型的时代，用于自动标注多模态数据的功能对于自动驾驶和具身化人工智能等实际应用具有重要意义。本文介绍了 OpenAnnotate3D，一种开源开词汇库自动标注系统，可以为视觉和点云数据自动生成 2D 掩模、3D 掩模和 3D 边界框标注，并整合了大型语言模型的思维链和视觉 - 语言模型的跨模态能力，旨在改善标注效率并提供准确的开词汇库自动标注结果。

Oct, 2023

UniG3D 是一个统一的 3D 对象生成数据集，采用 Objaverse 和 ShapeNet 数据集的通用数据转换管道，并使用渲染引擎和多模态模型将每个原始的 3D 模型转换成包含文本、图像、点云和网格的综合多模态数据表示，该数据集可应用于任何 3D 数据集中。

Jun, 2023

通过提出的 OS-Det3D 框架，利用特定训练的 3D 物体发现网络（ODN3D）和联合目标性选择（JOS）模块，提高相机 3D 检测器在鉴别已知和未知对象方面的能力，并在 nuScenes 和 KITTI 数据集上进行实验证明了该框架的有效性。

Jun, 2024

我们提出了一种名为 Open-YOLO 3D 的快速而准确的开放词汇 3D 实例分割方法，在多视角 RGB 图像中有效利用仅 2D 对象检测进行开放词汇 3D 实例分割，并通过生成类无关的 3D 掩码并与文本提示相关联来处理此任务。我们的 Open-YOLO 3D 在两个基准测试集 ScanNet200 和 Replica 上实现了最先进的性能，在与文献中最佳方法相比速度提高了多达 16 倍。

Jun, 2024

我们介绍了 Unique3D，这是一种新颖的图像到 3D 框架，能够高效生成高质量的 3D 网格，具有最先进的生成质量和强大的泛化能力。我们的 Unique3D 在几何和纹理细节方面显著优于其他图像到 3D 基准。

May, 2024

OpenDlign 是一个新颖的框架，利用点云投影的深度映射生成的深度对齐图像来学习开放世界的 3D 表示，通过丰富多样的颜色和纹理差异以及保持几何和语义一致性，优化了 2D 到 3D 知识迁移，从而显著提高了零样本和少样本 3D 任务的性能。

Apr, 2024

Open-Fusion 是一种实时的、开放词汇的 3D 地图创建方法，利用 RGB-D 数据进行场景重建，并结合预训练的视觉 - 语言模型（VLFM）和 Truncated Signed Distance Function (TSDF) 技术，实现无需额外训练的开放词汇 3D 分割，同时提供实时的场景理解和目标语义。

Oct, 2023

本研究介绍了一种开放词汇的 3D 实例分割任务，使用零样本学习来提高模型在目标实例分割方面的泛化性，并设计了 OpenMask3D 方法，该方法使用预测的类别不可知的 3D 实例掩码来聚合每个掩码的特征，通过多视图融合和基于 CLIP 的图像嵌入来提高分割的性能。

Jun, 2023

该论文研究了如何训练一个来自多个数据集的统一 3D 检测器，提出了一种名为 Uni3D 的方法来解决数据级别和分类学级别的差异，证明了该方法的有效性并对进一步的 3D 泛化研究具有启发意义。

Mar, 2023