本文提出了一种基于多源知识蒸馏的 3D 点云语义分割方法，采用多到单的融合方式，通过实例感知亲和性蒸馏算法获取高级结构知识，实现对于难分类类别的提升。在 SemanticKITTI 数据集中实验证明，该方法在验证集和测试集上均显著优于基线方法。

Apr, 2023

自监督图像网络在解决复杂的 2D 任务（如语义分割、目标发现）时非常高效且几乎没有下游监督要求，然而，当前基于激光雷达数据的自监督 3D 网络表现不佳，因此有几种方法提议将高质量的自监督 2D 特征转移到 3D 网络中，最近在自动驾驶数据上进行的尝试显示了有希望的结果，然而，这些转移后的特征与完全监督的特征之间仍然存在差距，本文重新审视了 2D 到 3D 转移，首先，针对语义分割，我们提出了一种简单的方法，相对于之前的 3D 转移方法实现了显著的提高，其次，我们证明了在高容量的 3D 网络中进行转移对于获得高质量的 3D 特征至关重要，这实际上使我们能够显著缩小无监督转移的 3D 特征与完全监督特征之间的差距，最后，我们表明我们所得到的高质量转移表示还可以用于开放词汇的分割和背景 / 前景发现。

Oct, 2023

基于混合视图的知识蒸馏 (HVDistill) 框架用于指导点云神经网络的特征学习，通过利用 RGB 相机和 LiDAR 传感器之间的几何关系，在无监督的方式下建立了两种模态之间的对应关系，其中基于图像平面视图和鸟瞰图可以实现，这有助于表示学习。

Mar, 2024

我们提出了一种名为 Self-Prediction 的学习模式，用于处理点云的三维实例和语义分割问题。我们的方法强调了点关系探索方面的新学习模式，与大多数现有方法不同，该方法通过自我预测任务来训练骨干网络，从而使模型更好地探索关系、几何和形状信息并学习更具有区分性的特征进行分割，实现了在 S3DIS 和 ShapeNet 上实例分割结果的最先进性，并只使用 PointNet ++ 作为骨干网络时与现有技术的语义分割结果相当。

Jul, 2020

本文提出了一种新颖的端到端深度聚类方法，采用了扩散采样和硬度感知自蒸馏策略（HaDis），通过扩散采样对实例进行对齐以提高簇内紧密度，引入硬度感知自蒸馏机制来提高样本权重的自适应调整能力，同时结合原型对比学习来增强簇间可分性和簇内紧密度，实验证明了 HaDis 方法在五个挑战性图像数据集上相比现有技术具有更优的聚类性能。

Jan, 2024

本文提出了一种自监督增强的任务，通过辅助分类器在分层中间特征图中生成多样化的自监督知识，并执行一对一的转移来全面教授学生网络，从而改善表示能力而不失去正常分类能力。在多个网络对中，本方法都显著超过了之前的最佳结果，平均改进了 2.56％（CIFAR-100）和 0.77％（ImageNet）。

Jul, 2021

本文提出了一种基于点到体素知识蒸馏的方法，通过将隐藏层的知识从点级别和体素级别进行转移，采用困难感知的采样策略和点 - 体素相似度蒸馏，提高了 LiDAR 语义分割任务中教师模型向学生模型的知识压缩效果，同时在两个流行的基准数据集上实现了优于现有方法的精度和速度。

Jun, 2022

该论文提出了两种新型的自监督预训练方法，利用覆盖树对点云进行分层划分，从而避免手动注释点云所导致的困难；并针对少样本学习设置，让学习网络对支持集的点云嵌入进行预训练。实验表明，利用该自监督学习方法预训练的有监督方法显著提高了目前最先进方法的准确性，并且该方法在下游的分类任务中也优于先前的无监督方法。

Sep, 2020

该研究提出了一种针对自动驾驶数据量身定制的自监督 3D 感知模型预训练方法，使用 superpixels 来池化 3D 点特征和 2D 像素特征，训练 3D 网络来匹配虚拟对应的 2D 像素特征并提取特征，从而实现无需任何点云或图像注释的 3D 语义分割和车辆物体检测，进行了大量的自动驾驶数据集实验以证明其有效性。

Mar, 2022

本论文提出了一种基于对比学习方法的学习强大点云表示的新策略，该方法可以嵌入任何点云分类网络中，通过改进类内紧凑性和类间可分性来实现嵌入特征分布的细化，并提出了混淆易感类别挖掘策略来缓解由小的类间差异和类间紧凑度引起的混淆问题，并设计了一个基于信息熵理论的熵感知注意模块来识别嵌入空间中的样本异常值和不稳定样本，实验证明该方法比现有技术表现更好，并在现有技术中实现了显著的性能提升。

Jan, 2022