PartGlot:从语言参考游戏中学习形状部分分割
本文介绍了一种基于神经网络的方法,可以在没有任何匹配信息的情况下,通过在不同形状上联合分析点云表示的几何和语义函数,发现共同的潜在结构,并生成潜在基函数字典,以反映形状间的共享语义结构。
May, 2018
本文介绍 PartNet 数据集,该数据集是一个一致的、大规模的、带有精细的、实例级别的和分层的 3D 部分信息的 3D 对象的注释数据集。我们提出了三种评估 3D 部分识别的挑战,包括细粒度语义分割、分层语义分割和实例分割,并基于该数据集进行了实验,结果表明其优越性能。
Dec, 2018
本文研究了细微的物体形态差异在语言中的表达方式,通过图像和三维模型构建了大规模的数据集,利用神经网络进行理解和表达,实现了零样本迁移学习并探究了物体形态与语言结构在物体差异中的关系。
May, 2019
本文介绍了一种名为Parts4Feature的深度学习网络,它可以从多视图的部分级信息中学习三维全局特征,利用多重关注机制将检测到的部分聚合到全局特征中, 并通过区域建议模块将局部和全局信息相互促进,从而实现了在三大3D形状基准测试中的良好表现。
May, 2019
StructureNet是一种基于层次图网络的生成模型,可以对以各种方式变形、修改的3D形状进行编码。它可以用于生成大量逼真的结构形状几何,也可以通过从未标记的图像、点云或部分扫描中直接发现形状结构,同时还能够用于形状生成、插值和编辑。
Aug, 2019
本研究提出一种基于学习的聚合聚类框架,在提取局部上下文以促进泛化到未知类别的情况下,学习部件的几何先验知识,并在不看到任何注释样本的情况下将其应用到未见过的类别中,实现了对大规模细粒度3D零件数据集PartNet的有效分割。
Feb, 2020
提出了 PartImageNet 数据集,其中包括了158种类别、约24,000张图像,是一个大、高质量的数据集,具有像素级部位分割注释,能够用于许多视觉任务,包括对象分割、语义部分分割、少样本学习和部分发现。
Dec, 2021
该研究提出了一个跨模态蒸馏框架PartDistill,将二维视觉-语言模型的知识转移给三维形状的部分分割,通过解决三个主要挑战(二维投影中不可见或未检测区域的三维分割缺失、VLM的二维预测不准确和不一致、不同三维形状之间的知识积累不足),PartDistill在该任务中取得了显著的进展。通过在框架内进行正向和反向的蒸馏,PartDistill能够提高最终的三维部分分割结果,并且可以利用生成模型生成用于蒸馏的知识源。在广泛使用的ShapeNetPart和PartE数据集上进行的大量实验证明,PartDistill相比现有方法在mIoU分数上显著提升,分别高出15%和12%。
Dec, 2023
鉴于目标物体识别需求,我们介绍了一种称为3D物体推理部分分割的新型细分任务,旨在根据复杂和隐含的文本查询输出一个基于3D物体特定部分的分割蒙版,并提出了一种能够分割3D物体部分的模型,并生成与3D物体分割请求相对应的自然语言解释。
Apr, 2024
这篇论文介绍了一种基于零样本推理的3D分割新任务,以搜索和定位物体的部件为目标,它超越了先前的类别特定3D语义分割、3D实例分割和开放词汇3D分割的限制。我们设计了一个简单的基线方法,Reasoning3D,能够理解和执行复杂的命令,对具有上下文感知和推理答案的3D网格进行(细粒度的)特定部分分割。该方法利用现成的预训练二维分割网络,由大型语言模型(LLMs)支持,在零样本的方式下解释用户的输入查询。我们的方法具有泛化性,能够根据隐含的文本查询有效地定位和突出显示3D对象的部分,包括这些组成部分的3D对象和真实世界的扫描数据。此外,我们的无训练方法可实现快速部署,并成为未来研究中关于部件级3D(语义)对象理解的可行通用基线,在包括机器人学、物体操作、部件装配、自动驾驶应用、增强现实和虚拟现实(AR/VR)以及医疗应用等各个领域发挥作用。该论文提供了代码、模型权重、部署指南和评估协议。
May, 2024