本文提出了一种使用 2D 网络预训练 3D 深度神经网络的新方法,包括像素到点知识转移、反向投影函数、上采样特征投影层等,成功提升了各种真实世界 3D 网络下游任务的模型性能。
Apr, 2021
我们提出了一种新颖的适用于任何点云模型的 3D 到 2D 生成预训练方法,通过交叉注意机制生成来自不同指示姿势的视图图像作为预训练方案,以精确监督帮助 3D 主干更好地理解点云的几何结构和立体关系,实验结果证明了我们提出的方法在提升架构导向方法性能方面的优越性,并在 Fine-tuning ScanObjectNN 分类和 ShapeNetPart 分割任务时实现了最先进的性能。
Jul, 2023
通过多视图渲染三维数据,运用局部和全局两个层次的自监督方式进行神经网络的预训练来取得了优于 PointNet,DGCNN 和 SR-UNet 等现有方法的效果,并分析了合成和真实数据的优缺点。
Oct, 2022
本研究旨在促进 3D 深度学习表示学习的研究,重点关注高级场景理解任务,使用统一的三元组架构、源数据集和对比损失进行无监督预训练,对室内和室外、真实和合成数据集的 6 个不同基准进行分割和检测,取得了鼓舞性的结果,表明学习到的表示可以在不同领域推广使用,并且与监督的预训练的改善程度相似,建议未来的努力应该更加注重扩充数据收集而非详细标注。
Jul, 2020
通过可微分神经渲染,我们提出了一个新的通用方法来学习点云表示,实现了 3D 和 2D 之间的无缝集成,并在室内和室外场景中的多个任务中实现了卓越的性能和持续改进。
Oct, 2023
本研究提出了一个新的多视图视觉提示融合网络 (MvNet),通过利用现成的 2D 预训练模型实现 few-shot 3D 点云分类,实现了 3D few-shot 点云图像分类的最新性能。
Apr, 2023
探讨了利用几何约束来学习视角不变、几何感知表达,通过对 RGB-D 数据进行对比度学习,实现从 3D 先验信息到 2D 表达的迁移,并在语义分割、实例分割、室内物体检测中实现了显著提升。
该研究提出了一种可用于 3D 数据的简单自监督预训练方法,在目标检测、语义分割和物体分类等方面取得了最先进的结果并提高了少样本类别的性能。
Jan, 2021
本文提出了一种新型的 Text4Point 框架,通过利用 2D 图像作为连接点云和语言模态的桥梁,建立图像和点云的对应关系,从而通过对比学习将其对齐;并进一步引入文本查询模块,查询点云特征的文本嵌入,将语言信息整合到 3D 表示学习中,提高各种下游任务的性能。
Jan, 2023
本文介绍了 MVPNet 模型,该模型使用视图选择和 2D-3D 特征聚合模块将 2D 多视图图像特征汇集到 3D 点云中,并使用基于点的网络将 3D 规范空间中的特征融合以预测 3D 语义标签。该方法在 3D 语义分割任务上,优于以前的点云方法,并且训练速度比稀疏体素方法的大型网络快得多。
Sep, 2019