LiDAL: 基于帧间不确定性的主动学习用于三维激光雷达语义分割
本文研究 LiDAR 数据获取、语义分割的主题,提出了基于主动学习的方法,包括顺序标注和半监督学习,以提高标注效率和性能。
Sep, 2023
本文提出了一种新颖的半监督主动学习 (SSAL) 框架,用于配备了激光雷达的单目 3D 物体检测,利用了模型开发过程中所收集的所有数据的多模态。通过利用激光雷达来指导单目 3D 检测器的数据选择和训练,不在推理阶段引入任何开销,并采用半监督学习中的激光雷达教师,单目学生交叉模态框架,用于从未标记数据中蒸馏信息作为伪标签,以处理传播噪声等问题。文中也给出了用于选择需标记样本的传感器一致性基础选择评分的解决方案,同时也符合训练目标。本文在 KITTI 和 Waymo 数据集上广泛实验,验证了所提出方法的有效性。具体来说,所提出的选择策略在成本节省方面始终优于现有主动学习基线,在标签成本上节约了高达 17% 的成本;训练策略在 KITTI 3D 和 BEV 单目物体检测官方基准中获得了最佳成绩,将 BEV 平均精度提高了 2.02。
Jul, 2023
本文研究在自动驾驶应用中对动态场景中的 3D LiDAR 数据进行语义分割。通过使用 3D LiDAR 数据,构建了一个包括范围图像分割、样本生成、数据关联、跟踪级别注释和半监督学习等方面的语义分割系统,使用半监督学习并结合约束数据和少量标注数据对 CNN 分类器进行训练,设计了一种特殊的损失函数,其中鼓励将约束数据分配到同一语义类别。实验表明,少量标注和大量约束数据的组合显著提高了该方法的有效性和场景适应性,效果比以往的方法提高了 10% 以上。
Sep, 2018
通过提出一种高效的多任务学习框架 LiSD,将分割和检测任务集成在一起,以优化整体性能, 它是一种基于体素的编码器 - 解码器框架,包含分层特征协作和整体信息聚合模块,以及利用跨任务信息的实例感知细化模块。我们在 nuScenes 数据集和 Waymo Open 数据集上进行了实验验证,结果表明我们提出的模型的有效性,尤其是在只使用 lidar 的方法中,LiSD 在 nuScenes 分割基准测试中达到了 83.3%的 mIoU,领先于其他方法。
Jun, 2024
该研究旨在发展一种统一模型,能够处理不同的 LiDAR 数据集,实现多个数据集的训练和在异构平台上的部署,通过几何重新对齐和语义标签映射来促进训练并减少性能下降。通过在 OpenOccupancy-nuScenes 和 SemanticKITTI 两个著名数据集上进行全面实验,验证了 UniLiDAR 在填补 LiDAR 领域差距方面的有效性,相比直接合并数据集训练的模型,其占有率预测的 mIoU 分别提高了 15.7% 和 12.5%,并且优于在个别数据集上训练的多种最先进方法。
Mar, 2024
本研究提出了一种主动学习的方法,通过使用 RGB 图像生成的 2D 区域提案来减少目标搜索空间并加快学习过程,从而训练一个具有最少标记训练数据的 LiDAR 3D 目标检测器。实验结果表明,该方法在不同的不确定性估计和查询功能下都能正常工作,并可以节省多达 60% 的标注工作量,同时达到相同的网络性能。
Jan, 2019
利用未见数据的边缘信息作为先验信息进行不确定度测量,提出了 EdgeAL 主动学习算法,并在多类别光学相干断层扫描(OCT)分割任务中取得了 99% 的 Dice 分数,同时将注释标签成本分别降低了 12%、2.3% 和 3%(在三个公开数据集 Duke,AROI 和 UMN 上)
Jul, 2023
该研究提出了利用异方差不确定性的鲁棒的实时 LiDAR 3D 物体检测器,其多损失函数设计了不确定性预测,使网络忽略嘈杂的样本并专注于信息性的样本,超过基线方法近 9%的平均精度。此外,该方法在只需要 72 毫秒的推理时间内,在 KITTI 物体检测基准上产生了最先进的结果,对于自动驾驶应用非常理想。
Sep, 2018
利用空间几何对齐和时间运动对齐构建自适应域归一化方法,以头显和机械扫描激光雷达的点云数据为例,实现了跨设备 3D 检测的最新性能水平。
Dec, 2022
在自动驾驶中,高效利用数据对于推进 3D 场景理解至关重要。我们的研究在 LiDAR 语义分割上扩展了半监督学习,利用行驶场景的内在空间先验和多传感器互补来增强无标注数据集的有效性。我们引入了 LaserMix++,这是一个进化的框架,结合了来自不同 LiDAR 扫描的激光束操作,并结合了 LiDAR - 相机对应关系,进一步辅助高效学习。我们的框架旨在通过整合多模态(包括:1)用于细粒度交叉传感器相互作用的多模态 LaserMix 操作;2)增强 LiDAR 特征学习的相机到 LiDAR 特征提炼;和 3)使用开放词汇模型生成辅助监督的语言驱动知识引导)来增强 3D 场景一致性正则化。LaserMix++ 的多功能性使其适用于 LiDAR 表示的各种应用,确立了其作为一种普遍适用的解决方案。通过理论分析和对流行驾驶感知数据集的广泛实验,我们对我们的框架进行了严格验证。结果显示,LaserMix++ 明显优于完全监督的替代方案,在只使用五分之一的注释数据的情况下实现了可比较的准确性,并显著改善了仅使用监督的基准线。这一重大进展突显了半监督方法在减少对标记数据的依赖方面对基于 LiDAR 的 3D 场景理解系统的潜力。
May, 2024