Dec, 2023
PartDistill: 视觉语言模型蒸馏下的三维形状部分分割
PartDistill: 3D Shape Part Segmentation by Vision-Language Model
Distillation
TL;DR该研究提出了一个跨模态蒸馏框架PartDistill，将二维视觉-语言模型的知识转移给三维形状的部分分割，通过解决三个主要挑战（二维投影中不可见或未检测区域的三维分割缺失、VLM的二维预测不准确和不一致、不同三维形状之间的知识积累不足），PartDistill在该任务中取得了显著的进展。通过在框架内进行正向和反向的蒸馏，PartDistill能够提高最终的三维部分分割结果，并且可以利用生成模型生成用于蒸馏的知识源。在广泛使用的ShapeNetPart和PartE数据集上进行的大量实验证明，PartDistill相比现有方法在mIoU分数上显著提升，分别高出15%和12%。