Apr, 2023

从 3D 到鸟瞰图的知识蒸馏用于 LiDAR 语义分割

PDF
TL;DR该研究提出了一种有效的三维（3D）到 Bird's-Eye-View（BEV）知识蒸馏方法，将丰富的知识从基于 Voxel 的模型传递到基于 BEV 的模型，该方法应用于自动驾驶领域的 LiDAR 点云分割任务中，明显提高了准确性，SemanticKITTI 数据集是该研究的实验验证平台。
lidarpoint cloud segmentationautonomous driving3d-to-bev knowledge distillationsemantickitti dataset
发现论文，激发创造
  • 基于点云到体素的知识蒸馏技术用于 LiDAR 语义分割

    本文提出了一种基于点到体素知识蒸馏的方法，通过将隐藏层的知识从点级别和体素级别进行转移，采用困难感知的采样策略和点 - 体素相似度蒸馏，提高了 LiDAR 语义分割任务中教师模型向学生模型的知识压缩效果，同时在两个流行的基准数据集上实现了优于现有方法的精度和速度。

    Jun, 2022

  • 结构化知识蒸馏方法实现高效紧凑的多视角三维检测

    本论文提出了一种基于结构化知识蒸馏的框架，旨在提高现代视觉仅 BEV 检测模型的效率，并在 nuScenes 基准测试上表现出显著的优越性，平均改善 2.16mAP 和 2.27NDS。

    Nov, 2022

  • LiDAR2Map: 在线相机蒸馏下基于 LiDAR 的语义地图构建之辩

    本文提出了一种有效的基于 LiDAR 的语义地图构建方法，其中引入了一个 BEV 金字塔特征解码器来学习强大的多尺度 BEV 特征，以大大提高基于 LiDAR 的方法的准确性；此外，还提出了在线相机到 LiDAR 蒸馏方案来促进从图像到点云的语义学习，通过对挑战性 nuScenes 数据集的实验结果，证明了该方法在自动驾驶中的有效性。

    Apr, 2023

  • DistillBEV：利用跨模态知识蒸馏提升多摄像头三维目标检测

    通过训练基于多视角鸟瞰图（BEV）的学生检测器来模仿经过训练的基于 LiDAR 的教师检测器的特征，从而提高多视角 BEV 的表示学习，并通过有效的平衡策略和多尺度层的时间融合实现知识传输，实验证明该方法在多个多视角 BEV 模型上显著改善了学生模型，达到了流行基准 nuScenes 的最新性能。

    Sep, 2023

  • 基于点云语义分割的多到单知识蒸馏

    本文提出了一种基于多源知识蒸馏的 3D 点云语义分割方法，采用多到单的融合方式，通过实例感知亲和性蒸馏算法获取高级结构知识，实现对于难分类类别的提升。在 SemanticKITTI 数据集中实验证明，该方法在验证集和测试集上均显著优于基线方法。

    Apr, 2023

  • 基于全景分割引导的 LiDAR 多视角三维物体检测通用框架

    本研究提出了一种利用分割信息指导检测过程的多任务框架，该框架联合执行三维物体检测和全景分割，可利用多视角信息解决每个投影视图的缺陷，并通过前景语义信息和中心密度热力图来提示物体的可能框中心位置。在 nuScenes 数据集上进行的大量实验表明，该方法提供了显著的性能提升，基于单级 CenterPoint 3D 物体检测网络的所提出方法在 nuScenes 3D 检测基准上取得了 67.3 NDS 的最新性能。

    Mar, 2022

  • 3D-BEVIS: 鸟瞰视角实例分割

    本文介绍了一种基于点云的深度学习框架 3D-BEVIS，旨在对 3D 场景进行语义实例分割，通过将局部点几何和中间俯视图表示的全局环境信息相结合，以聚类的方式学习特征嵌入并将其分组成语义实例。

    Apr, 2019

  • 使用几何和语义点云进行鸟瞰图语义分割

    本文介绍了使用车载摄像头拍摄的 RGB 图像进行鸟瞰视角像素级别的物体语义分割的方法，为了解决这个问题，提出了一种新的两阶段感知管道，它明确预测像素深度，并将它们与像素语义结合起来进行有效的推断，同时，使用抽象的高层几何特征进行转移学习，方法能够提高 24% 的 mIoU。

    Jun, 2020

  • 基于混合二维语义场景生成的 LiDAR 三维物体检测

    本研究提出了一种将三维环境的语义和几何以二维形式编码的场景表示法，并使用辅助网络预测显式和隐式语义概率的组合作为更好的 BEV 特征学习的密集监督信号，实验证明该设计可以轻松集成到大多数先进的三维物体检测器中，并始终改善基线模型。

    Apr, 2023

  • HVDistill：通过无监督混合视图蒸馏将图像知识转化到点云中

    基于混合视图的知识蒸馏 (HVDistill) 框架用于指导点云神经网络的特征学习，通过利用 RGB 相机和 LiDAR 传感器之间的几何关系，在无监督的方式下建立了两种模态之间的对应关系，其中基于图像平面视图和鸟瞰图可以实现，这有助于表示学习。

    Mar, 2024