使用对比场景语境探索数据高效的三维场景理解
本研究旨在促进 3D 深度学习表示学习的研究,重点关注高级场景理解任务,使用统一的三元组架构、源数据集和对比损失进行无监督预训练,对室内和室外、真实和合成数据集的 6 个不同基准进行分割和检测,取得了鼓舞性的结果,表明学习到的表示可以在不同领域推广使用,并且与监督的预训练的改善程度相似,建议未来的努力应该更加注重扩充数据收集而非详细标注。
Jul, 2020
本文提出了一种基于 k-d 树的方法,旨在同时利用点云的局部和全局背景信息,通过沿树结构逐步学习表征向量,从而生成区分度强的点集特征。实验证明,该方法在 3D 场景语义分割等任务上明显优于现有的方法。
Nov, 2017
介绍了一种特别用于 3D 点云中上下文学习的新框架 Point-In-Context,利用联合采样模块和有效提示选择策略达到了优于单独训练模型的性能。
Jun, 2023
提出了一种名为 MSC 的 Masked Scene Contrast 框架,利用对比学习直接在场景级别点云上生成对比视图以及对比重建来更有效地提取全面的 3D 表示,并使大规模 3D 预训练跨多个数据集成为可能,并在多个下游任务上实现了最新的最好的微调结果。
Mar, 2023
本文介绍了一种半监督点云语义分割方法,使用伪标签指导其损失函数,并提出了一种基于对比损失的方法来增强特征表示和模型的泛化能力。实验证明,该方法在三个数据集上都可以有效地提高预测质量。
Oct, 2021
本研究提出了一种名为 CrossPoint 的简单跨模态对比学习方法,通过自监督学习,在不需要人类标注的情况下,实现可转移的三维点云表示,通过最大化点云和相应渲染的二维图像之间的协议,实现了三维物体分类和分割等多项任务,并验证了我们的方法在提高点云理解方面的效果。
Mar, 2022
本文首次综述了基于标注效率的点云数据学习,并提出了基于不同类型标签提供的数据前提条件组织标注效率学习方法。该文分类了四种典型的降低点云标注成本的方法:数据增强、域迁移学习、弱监督学习和预训练基础模型,并对这些方法进行了广泛的文献综述。同时,该文分析了当前研究中的挑战并提出了未来研究的发展方向。
May, 2023
提出了一种通过语言辅助的方法来学习点云特征,使用 LMMs 文本丰富语义概念,通过基于统计的显著特征选择实现去冗余和降低特征维度,进一步分析了文本对点云的对比训练的影响,实验证实所提出的方法在三维语义分割、三维物体检测和三维场景分类任务中学习到了有意义的点云特征,并获得了最先进或可比较的性能。
Dec, 2023
本文介绍了一个新的 3D 点云分类基准数据集,其中包含超过 40 亿个手动标记的点,用于数据密集型的(深度)学习方法。使用深度卷积神经网络(CNNs)作为工作马的初始提交已经显示出相对于现有技术具有显著的性能改进。我们提供了基线方法描述和通过我们的在线系统提交方法之间的比较。我们希望 Semantic3D.net 能够为 3D 点云标注中的深度学习方法铺平道路。
Apr, 2017
当前成功的三维场景感知方法依赖于大规模标注的点云,获取费时费力。本文提出了 Model2Scene,一种新颖的范式,从计算机辅助设计 (CAD) 模型和语言中学习自由的三维场景表示。主要挑战是 CAD 模型与真实场景对象之间的领域差异,包括模型到场景的转换和合成模型到真实场景对象的转换。为了应对上述挑战,Model2Scene 首先通过混合数据增强的 CAD 模型模拟拥挤的场景。然后,我们提出了一种称为深凸包正则化 (DCR) 的新颖特征正则化操作,将点特征投影到统一的凸包空间,减小领域差距。最后,我们对 CAD 模型的语言嵌入和点特征进行对比损失的预训练,形成 3D 网络。大量实验证实了学习到的三维场景表示对各种下游任务的益处,包括无标签三维物体显著目标检测、标签高效三维场景感知和零样本三维语义分割。值得注意的是,Model2Scene 在 ScanNet 和 S3DIS 数据集上实现了令人印象深刻的无标签三维物体显著目标检测,平均 mAP 分别为 46.08% 和 55.49%。代码将公开提供。
Sep, 2023