Aug, 2022

P2P: 使用点对像素提示调整预训练图像模型，进行点云分析

PDF
TL;DR本文探讨如何使用预训练的 2D 知识，通过 Point-to-Pixel Prompting 对预训练的图像模型进行微小调整，以适应于点云分析任务。经过广泛实验，该方法取得了很好的成绩，并在 ScanObjectNN 的最难设置上达到了 89.3% 的准确度。
pre-training2d knowledge3d visionpoint cloud analysisprompting engineering
发现论文，激发创造
  • 基于参数高效的 3D 点云理解的提示学习

    该研究提出了一种参数高效的提示调优方法（称为 PPT），用于适应大型多模态模型的 3D 点云理解。通过 PromptLearner 模块和 PointAdapter 模块，在提高参数效率的同时增强了对 3D 点云理解的提示调优能力，实验证明了该方法在参数和数据效率方面的优越性。

    Feb, 2024

  • 预训练点云模型的实例感知动态提示调节

    本研究提出一种新的实例感知动态提示调整方法，用于点云预训练模型，该方法有效地降低了存储成本并在许多下游任务中表现出比全微调更好的效果。

    Apr, 2023

  • 基于多数据集点云提示训练的大规模 3D 表示学习

    点提示训练（PPT）是一种新颖的多数据集协同学习框架，用于在 3D 表示学习的背景下支持多个预训练范式。PPT 能够克服协同学习中的负面迁移问题，并且使用单个权重共享模型进行监督多数据集训练时，在每个数据集上都达到了最先进的性能。此外，作为一个预训练框架，PPT 在表示质量方面优于其他预训练方法，并在涵盖室内和室外 3D 场景的十多个不同下游任务中取得了非凡的最新性能。

    Aug, 2023

  • 在像素级别释放视觉提示的威力

    本文提出一种简单且有效的视觉提示方法，用于将预训练模型适应下游识别任务。并重新引入了两种常用技术，即输入多样性和梯度归一化。该方法在 12 个流行的分类数据集上创造了 82.8％的平均准确率的记录，并提供了代码。

    Dec, 2022

  • 多视图视觉提示融合网络：2D 预训练模型能否增强 3D 点云数据稀缺学习？

    本研究提出了一个新的多视图视觉提示融合网络 (MvNet)，通过利用现成的 2D 预训练模型实现 few-shot 3D 点云分类，实现了 3D few-shot 点云图像分类的最新性能。

    Apr, 2023

  • PointContrast: 无监督预训练 3D 点云理解

    本研究旨在促进 3D 深度学习表示学习的研究，重点关注高级场景理解任务，使用统一的三元组架构、源数据集和对比损失进行无监督预训练，对室内和室外、真实和合成数据集的 6 个不同基准进行分割和检测，取得了鼓舞性的结果，表明学习到的表示可以在不同领域推广使用，并且与监督的预训练的改善程度相似，建议未来的努力应该更加注重扩充数据收集而非详细标注。

    Jul, 2020

  • 拍照：点云模型的 3D 到 2D 生成预训练

    我们提出了一种新颖的适用于任何点云模型的 3D 到 2D 生成预训练方法，通过交叉注意机制生成来自不同指示姿势的视图图像作为预训练方案，以精确监督帮助 3D 主干更好地理解点云的几何结构和立体关系，实验结果证明了我们提出的方法在提升架构导向方法性能方面的优越性，并在 Fine-tuning ScanObjectNN 分类和 ShapeNetPart 分割任务时实现了最先进的性能。

    Jul, 2023

  • 从 2D 学习：基于像素到点的对比知识传递进行 3D 预训练

    本文提出了一种使用 2D 网络预训练 3D 深度神经网络的新方法，包括像素到点知识转移、反向投影函数、上采样特征投影层等，成功提升了各种真实世界 3D 网络下游任务的模型性能。

    Apr, 2021

  • PonderV2：铺设通向通用预训练范式的 3D 基础模型之路

    通过可微分神经渲染，我们提出了一个新的通用方法来学习点云表示，实现了 3D 和 2D 之间的无缝集成，并在室内和室外场景中的多个任务中实现了卓越的性能和持续改进。

    Oct, 2023

  • 基于多视图表达学习的点云预训练

    本文提出了一种基于 2D network 预训练的点云 3D 预训练新方法，通过引入多视角一致性损失，可有效防止 3D 特征丢失并在 3D 检测和语义分割等任务中实现最先进的性能。

    Jun, 2023