基于点云到体素的知识蒸馏技术用于 LiDAR 语义分割

CVPRJun, 2022

基于点云到体素的知识蒸馏技术用于 LiDAR 语义分割

Point-to-Voxel Knowledge Distillation for LiDAR Semantic Segmentation

Yuenan Hou, Xinge Zhu, Yuexin Ma, Chen Change Loy, Yikang Li

TL;DR本文提出了一种基于点到体素知识蒸馏的方法，通过将隐藏层的知识从点级别和体素级别进行转移，采用困难感知的采样策略和点 - 体素相似度蒸馏，提高了 LiDAR 语义分割任务中教师模型向学生模型的知识压缩效果，同时在两个流行的基准数据集上实现了优于现有方法的精度和速度。

Abstract

This article addresses the problem of distilling knowledge from a large teacher model to a slim student network for lidar semantic segmentation. Directly employing previous distillation approaches yields inferior results due to the intrinsic challenges of point cloud, i.e., sparsity, r

lidar semantic segmentation knowledge distillation point-to-voxel supervoxels inter-voxel affinity

发现论文，激发创造

从 3D 到鸟瞰图的知识蒸馏用于 LiDAR 语义分割

该研究提出了一种有效的三维（3D）到 Bird's-Eye-View（BEV）知识蒸馏方法，将丰富的知识从基于 Voxel 的模型传递到基于 BEV 的模型，该方法应用于自动驾驶领域的 LiDAR 点云分割任务中，明显提高了准确性，SemanticKITTI 数据集是该研究的实验验证平台。

Apr, 2023

基于点云语义分割的多到单知识蒸馏

本文提出了一种基于多源知识蒸馏的 3D 点云语义分割方法，采用多到单的融合方式，通过实例感知亲和性蒸馏算法获取高级结构知识，实现对于难分类类别的提升。在 SemanticKITTI 数据集中实验证明，该方法在验证集和测试集上均显著优于基线方法。

Apr, 2023

HVDistill：通过无监督混合视图蒸馏将图像知识转化到点云中

基于混合视图的知识蒸馏 (HVDistill) 框架用于指导点云神经网络的特征学习，通过利用 RGB 相机和 LiDAR 传感器之间的几何关系，在无监督的方式下建立了两种模态之间的对应关系，其中基于图像平面视图和鸟瞰图可以实现，这有助于表示学习。

Mar, 2024

LiDAR 3D 物体检测中的点密度感知体素

提出了一种基于点密度感知的体素网络（PDV）方法，通过使用核密度估计和具有点密度位置编码的自注意力，通过聚合体素特征来解决 LiDAR 的点密度变化对 3D 物体检测精度的影响。实验结果表明，PDV 在 Waymo 开放数据集上优于所有最先进的方法，在 KITTI 数据集上取得了竞争性的结果。

Mar, 2022

通过知识蒸馏实现高效的 3D 目标检测

本文章提出了一种使用知识蒸馏技术开发高效 3D 物体检测器的方法，并在输入分辨率降低和模型压缩方面发掘教师学生模型的差异，基于现有的 KD 方法建立了一个基准测试，提出了一种改进的 KD 流程，最后在 Waymo 数据集上进行了大量实验，实现了比教师模型更高的精度和更快的运行速度。

May, 2022

走向语义图像分割中的可比较知识蒸馏

知识蒸馏可解决语义分割中的大型模型和慢速推理问题。研究中鉴定了 14 篇发表于近 4 年的 25 种蒸馏损失项。通过对 2022 年两篇论文的比较，揭示了超参数选择不当导致学生模型性能极端差异的问题。为了提高该领域的未来研究可比性，建立了三个数据集和两种学生模型的坚实基线，并提供了大量有关超参数调整的信息。在 ADE20K 数据集上，发现只有两种技术能与我们简单的基线相竞争。

Sep, 2023

通过跨模态蒸馏和超体素聚类进行三维点云的无监督语义分割

本文提出了一个名为 PointDC 的新型分割框架，通过两个阶段的处理（CMD 和 SVC），实现在不使用任何形式的注释的情况下的点云全自动无监督语义分割。该框架在 ScanNet-v2 和 S3DIS 两种数据集上均优于以往的无监督学习方法，分割性能显著提高。

Apr, 2023

利用距离亮点聚合技术提升语义分割

本文提出一种基于知识蒸馏的语义分割方法，通过引入 Inter-class Distance Distillation (IDD) 模块来转移特征空间中的跨类距离，同时利用位置信息蒸馏模块来提高学生网络的位置编码能力，实验结果表明，该方法可以大幅度提高语义分割模型的准确性，达到 state-of-the-art 的性能水平。

May, 2022

高密度变化的 3D 点云语义分割

本文提出了一种名为 HDVNet 的新型架构，针对测量应用程序中的点云具有的大局部密度变化提出解决方案，通过一个嵌套的编码器 - 解码器通路集合来处理特定的点密度范围，有效地处理了输入密度变化，提高了分割精度。

Jul, 2023

PartDistill: 视觉语言模型蒸馏下的三维形状部分分割

该研究提出了一个跨模态蒸馏框架 PartDistill，将二维视觉 - 语言模型的知识转移给三维形状的部分分割，通过解决三个主要挑战（二维投影中不可见或未检测区域的三维分割缺失、VLM 的二维预测不准确和不一致、不同三维形状之间的知识积累不足），PartDistill 在该任务中取得了显著的进展。通过在框架内进行正向和反向的蒸馏，PartDistill 能够提高最终的三维部分分割结果，并且可以利用生成模型生成用于蒸馏的知识源。在广泛使用的 ShapeNetPart 和 PartE 数据集上进行的大量实验证明，PartDistill 相比现有方法在 mIoU 分数上显著提升，分别高出 15% 和 12%。

Dec, 2023