半监督 LiDAR 语义分割的 LaserMix
在自动驾驶中,高效利用数据对于推进 3D 场景理解至关重要。我们的研究在 LiDAR 语义分割上扩展了半监督学习,利用行驶场景的内在空间先验和多传感器互补来增强无标注数据集的有效性。我们引入了 LaserMix++,这是一个进化的框架,结合了来自不同 LiDAR 扫描的激光束操作,并结合了 LiDAR - 相机对应关系,进一步辅助高效学习。我们的框架旨在通过整合多模态(包括:1)用于细粒度交叉传感器相互作用的多模态 LaserMix 操作;2)增强 LiDAR 特征学习的相机到 LiDAR 特征提炼;和 3)使用开放词汇模型生成辅助监督的语言驱动知识引导)来增强 3D 场景一致性正则化。LaserMix++ 的多功能性使其适用于 LiDAR 表示的各种应用,确立了其作为一种普遍适用的解决方案。通过理论分析和对流行驾驶感知数据集的广泛实验,我们对我们的框架进行了严格验证。结果显示,LaserMix++ 明显优于完全监督的替代方案,在只使用五分之一的注释数据的情况下实现了可比较的准确性,并显著改善了仅使用监督的基准线。这一重大进展突显了半监督方法在减少对标记数据的依赖方面对基于 LiDAR 的 3D 场景理解系统的潜力。
May, 2024
本文提出了一种新的点云无监督域自适应方法 --CoSMix,是第一个基于样本混合的点云分割 UDA 方法,使用标记的合成数据和真实世界无标签点云,在两个大规模数据集上表现优于现有技术。
Jul, 2022
本文提出了使用散点图对图像进行注释,然后利用 SAM(一种基本模型)为图像生成语义分割标签。通过使用相机和 LiDAR 的内在和外在参数将图像的分割标签映射到 LiDAR 空间,我们获得了点云语义分割的标签,并发布了 Scatter-KITTI 和 Scatter-nuScenes,这是第一个利用基于图像分割的 SAM 进行弱监督点云语义分割的作品。此外,为了减小稀疏注释获取的错误伪标签对点云特征的影响,我们提出了一种用于 LiDAR 语义分割的多模态弱监督网络,称为 MM-ScatterNet。该网络通过引入多模态特征和点云特征之间的一致性约束,增强了点云的表示学习。在 SemanticKITTI 数据集上,我们仅使用 0.02%的注释数据就实现了 66%的全监督性能,在 NuScenes 数据集上,仅使用 0.1%的标记点就实现了 95%的全监督性能。
Apr, 2024
通过使用大规模廉价粗糙标签和少量准确标签进行混合粒度监督,我们提出了 MixSup,一种更实用的方法来同时利用经济实惠的粗糙标签和有限数量的准确标签来进行基于 LiDAR 的高效标签的 3D 物体检测。
Jan, 2024
本文研究在自动驾驶应用中对动态场景中的 3D LiDAR 数据进行语义分割。通过使用 3D LiDAR 数据,构建了一个包括范围图像分割、样本生成、数据关联、跟踪级别注释和半监督学习等方面的语义分割系统,使用半监督学习并结合约束数据和少量标注数据对 CNN 分类器进行训练,设计了一种特殊的损失函数,其中鼓励将约束数据分配到同一语义类别。实验表明,少量标注和大量约束数据的组合显著提高了该方法的有效性和场景适应性,效果比以往的方法提高了 10% 以上。
Sep, 2018
本研究提出使用涂鸦来注释 LiDAR 点云,并发布 ScribbleKITTI,这是第一个用于 LiDAR 语义分割的涂鸦注释数据集。此外,我们提出了一个流程来减少使用此类弱标注时出现的性能差距。我们的涂鸦注释和代码可在 github.com/ouenal/scribblekitti 上获取。
Mar, 2022
本文提出了一种称为 FocalMix 的新方法,利用了半监督学习(SSL)的最新进展,以 3D 医学图像检测,经实验证明,在标注不足的情况下,比现有的监督学习方法提高了 17.3%。
Mar, 2020
本研究提出了一种基于样本加权的半监督 3D 点云学习方法,通过双层优化框架估计权重并引入三种正则化技术,提高了模型的稳定性和准确性。实验结果表明该方法在 3D 点云分类和分割任务中具有有效性和可行性。
May, 2022
我们介绍了一种新的解耦优化框架,通过交替优化方式解决了现有基于半监督学习的方法中存在的严重训练偏差问题,主要是由于类别不平衡和点云数据的长尾分布导致了尾部类别分割的偏置预测。
Jan, 2024
通过使用卷积神经网络和激光雷达数据,本研究旨在提高图像分割的效率,特别是在自动驾驶系统中的道路表面分割任务中,通过减少标注工作量并在不降低分割质量的情况下训练图像分割模型。
Nov, 2023