CVPRApr, 2024

UniMix: 面向适应领域和通用的恶劣天气下的激光雷达语义分割

PDF
TL;DR提出了一种名为 UniMix 的通用方法，通过有效减小领域差异，使 LSS 模型能够学习天气稳健和领域不变的表示，实现自动驾驶中对不同天气条件下的全面适应性。
lidar semantic segmentationautonomous drivingunimixdomain adaptationdomain generalization
发现论文，激发创造
  • 带有领域知识保留的多种恶劣天气条件下的语义分割

    我们提出了一种用于多种恶劣天气条件下的语义分割的方法，它结合了自适应知识获取、伪标签混合和天气组合回放，能够在增强模型适应性和鲁棒性的同时避免遗忘和不断改进先前学习的天气信息，实现了比现有方法更好的性能。

    Jan, 2024

  • CoSMix：3D LiDAR 分割中的组合语义混合领域自适应

    本文提出了一种新的点云无监督域自适应方法 --CoSMix，是第一个基于样本混合的点云分割 UDA 方法，使用标记的合成数据和真实世界无标签点云，在两个大规模数据集上表现优于现有技术。

    Jul, 2022

  • 基于组合语义混合的点云分割领域自适应

    通过语义和几何样本混合，该研究介绍了一种基于点云的无监督领域自适应技术，并采用合成到真实和真实到真实的情境，利用 LiDAR 数据集验证其在无监督和半监督设置中明显优于现有方法的性能。

    Aug, 2023

  • 多模态高效数据驱动的自动驾驶三维场景理解

    在自动驾驶中，高效利用数据对于推进 3D 场景理解至关重要。我们的研究在 LiDAR 语义分割上扩展了半监督学习，利用行驶场景的内在空间先验和多传感器互补来增强无标注数据集的有效性。我们引入了 LaserMix++，这是一个进化的框架，结合了来自不同 LiDAR 扫描的激光束操作，并结合了 LiDAR - 相机对应关系，进一步辅助高效学习。我们的框架旨在通过整合多模态（包括：1）用于细粒度交叉传感器相互作用的多模态 LaserMix 操作；2）增强 LiDAR 特征学习的相机到 LiDAR 特征提炼；和 3）使用开放词汇模型生成辅助监督的语言驱动知识引导）来增强 3D 场景一致性正则化。LaserMix++ 的多功能性使其适用于 LiDAR 表示的各种应用，确立了其作为一种普遍适用的解决方案。通过理论分析和对流行驾驶感知数据集的广泛实验，我们对我们的框架进行了严格验证。结果显示，LaserMix++ 明显优于完全监督的替代方案，在只使用五分之一的注释数据的情况下实现了可比较的准确性，并显著改善了仅使用监督的基准线。这一重大进展突显了半监督方法在减少对标记数据的依赖方面对基于 LiDAR 的 3D 场景理解系统的潜力。

    May, 2024

  • 野外环境下的 3D 语义分割：学习针对恶劣环境点云的通用模型

    通过介绍一个适用于各种恶劣天气条件的点云数据集 SemanticSTF，我们研究了在两种情况下的全天候 3D 语义分割模型的建模：1）从正常天气数据自适应到恶劣天气数据的领域适应性 3DSS; 2）从正常天气数据学习全天候 3DSS 模型的领域通用性 3DSS，我们设计了领域随机化技术，交替随机化点云的几何样式和聚合它们的嵌入，最终导致一个可改善各种恶劣天气下 3DSS 的通用模型。

    Apr, 2023

  • 借助语言引导的恶劣天气语义分割

    我们提出了一种从在恶劣天气条件下拍摄的图像中推断语义分割地图的方法，通过利用语言作为指导，在不同的气候效应对图像的影响下，模型在 WeatherProof 和 ACDC 数据集上表现出了更好的性能。

    Mar, 2024

  • 半监督 LiDAR 语义分割的 LaserMix

    本文提出了 LaserMix 机制，利用 LiDAR 点云的强空间线索来更好地利用未标记的数据，实现 LiDAR 半监督分割，并在三个数据集上进行了全面的实验分析，结果表明 LaserMix 具有竞争性且有效。

    Jun, 2022

  • 恶劣天气条件下激光雷达点云的标签高效语义分割

    该论文提出了一种标签效率的方法，通过使用少量已标记示例来学习从非常少量标记的点云中分割恶劣天气的点，并利用半监督学习方法生成伪标签，从而显著增加训练数据量，同时还在训练过程中整合了好的天气数据，从而在良好和恶劣天气条件下均能取得高性能。在真实和合成数据集上的结果显示，我们的方法在检测雪、雾和水雾方面表现良好。此外，我们在使用的标记数据只有一小部分的情况下，实现了与完全监督方法相竞争的性能。

    Jun, 2024

  • 多域 LiDAR 语义分割之路 —— 步行您的 LiDOG

    该论文设计了第一个实验环境，研究激光雷达语义分割的域泛化问题。通过提出一种具有传输学习功能的网络模型，有效地减少了领域之间的差距，从而解决了同领域分割方法不能满足跨领域泛化问题的难题。

    Apr, 2023

  • Lidar 光散射增强（LISA）：基于物理的 3D 物体检测的不良天气条件模拟

    通过物理学模拟，提出一种蒙特卡罗混合方法用于模拟恶劣天气下的 LiDAR 点云数据，从而扩展所有天气条件下目标检测器的可靠性，并表明相对于现有模型，在现实世界的雨天场景中，模型的性能有了显著改进。

    Jul, 2021