Oct, 2023

PonderV2：铺设通向通用预训练范式的 3D 基础模型之路

PDF
TL;DR通过可微分神经渲染，我们提出了一个新的通用方法来学习点云表示，实现了 3D 和 2D 之间的无缝集成，并在室内和室外场景中的多个任务中实现了卓越的性能和持续改进。
3d foundational modelspoint cloud representationsneural renderingdownstream taskspre-training methods
发现论文，激发创造
  • 构建通用 3D 大规模感知强预训练基准

    通过构建一个 CSC 框架，我们综合使用视觉基础模型提供的语义线索和多模态信息的知识丰富的跨场景原型，实现了一种具有各种下游任务的更少微调工作量的通用 3D 预训练模型。

    May, 2024

  • 基于多视图表达学习的点云预训练

    本文提出了一种基于 2D network 预训练的点云 3D 预训练新方法，通过引入多视角一致性损失，可有效防止 3D 特征丢失并在 3D 检测和语义分割等任务中实现最先进的性能。

    Jun, 2023

  • 拍照：点云模型的 3D 到 2D 生成预训练

    我们提出了一种新颖的适用于任何点云模型的 3D 到 2D 生成预训练方法，通过交叉注意机制生成来自不同指示姿势的视图图像作为预训练方案，以精确监督帮助 3D 主干更好地理解点云的几何结构和立体关系，实验结果证明了我们提出的方法在提升架构导向方法性能方面的优越性，并在 Fine-tuning ScanObjectNN 分类和 ShapeNetPart 分割任务时实现了最先进的性能。

    Jul, 2023

  • PointContrast: 无监督预训练 3D 点云理解

    本研究旨在促进 3D 深度学习表示学习的研究，重点关注高级场景理解任务，使用统一的三元组架构、源数据集和对比损失进行无监督预训练，对室内和室外、真实和合成数据集的 6 个不同基准进行分割和检测，取得了鼓舞性的结果，表明学习到的表示可以在不同领域推广使用，并且与监督的预训练的改善程度相似，建议未来的努力应该更加注重扩充数据收集而非详细标注。

    Jul, 2020

  • 跨越领域鸿沟：基于基础模型的自监督三维场景理解

    该论文介绍了一种名为 Bridge3D 的创新方法，通过预训练使用基础模型的特征、语义掩码和说明来预训练 3D 模型，从而增强 3D 场景表示学习，包括使用基础模型的语义掩码来指导掩码和重建过程。此外，作者还介绍了一种新方法，使用基础模型生成高精度的物体级掩码和语义文本信息，进一步促进基础 2D 和文本表示向 3D 模型的知识转移。该方法在 3D 对象检测和语义分割任务中优于现有的最先进方法，在 ScanNet 数据集上的最佳结果超过之前的最优方法 PiMAE 5.3%。

    May, 2023

  • 探究视觉基础模型的三维认知能力

    最近大规模预训练的进步提供了具有强大功能的视觉基础模型。我们分析了视觉基础模型的三维感知能力，并通过一系列实验揭示了当前模型的几个局限性。

    Apr, 2024

  • Mask3D：通过学习掩码的 3D 先验知识预训练 2D 视觉 Transformer

    提出了一种名为 Mask3D 的预训练方法，可以将现有的大规模 RGB-D 数据应用于自监督预训练中，将 3D 先验嵌入到 2D 的学习特征中，并对多个场景理解任务产生了改进，尤其是语义分割。

    Feb, 2023

  • 视觉点云预测能够实现可扩展自动驾驶

    由于视觉自主驾驶应用需要同时处理语义、3D 几何和时间信息以进行联合感知、预测和规划，因此我们提出了一种名为 “ViDAR” 的预训练模型，用于预训练下游视觉编码器，并通过新颖的隐变换操作将历史嵌入式表示转换为 3D 几何空间，以实现未来点云的预测。实验结果表明，在下游任务中取得了显著的增益，如在 3D 检测上的 NDS 提高了 3.1％，运动预测的错误率减少了约 10％，规划中碰撞率减少了约 15％。

    Dec, 2023

  • 任意点云的自监督 3D 特征预训练

    该研究提出了一种可用于 3D 数据的简单自监督预训练方法，在目标检测、语义分割和物体分类等方面取得了最先进的结果并提高了少样本类别的性能。

    Jan, 2021

  • 从 2D 学习：基于像素到点的对比知识传递进行 3D 预训练

    本文提出了一种使用 2D 网络预训练 3D 深度神经网络的新方法，包括像素到点知识转移、反向投影函数、上采样特征投影层等，成功提升了各种真实世界 3D 网络下游任务的模型性能。

    Apr, 2021