Jul, 2023

CMDFusion: 交叉模态知识蒸馏的双向融合网络用于激光雷达语义分割

PDF
TL;DR我们提出了一种具有交叉模态知识蒸馏的双向融合网络（CMDFusion），通过 2D 到 3D 融合和 3D 到 2D 融合显式和隐式增强了 3D 特征，并通过从 2D 网络到 3D 网络的蒸馏传递 2D 知识，使得 3D 网络能够根据 3D LIDAR 输入生成 2D 信息，无需在推理过程中使用 RGB 图像。我们的 CMDFusion 在 SemanticKITTI 和 nuScenes 数据集上表现出了最佳性能。
2d rgb images3d lidar point cloudsautonomous vehiclesfusion networkknowledge distillation
发现论文，激发创造
  • 单目 3D 物体检测的跨模态知识蒸馏网络

    本研究提出了一种基于 Cross-Modality Knowledge Distillation (CMKD) 的半监督训练框架，通过跨模态知识蒸馏能够从大规模未标记数据中有效传输 LiDAR 模态到图像模态的知识，从而显著提高单目三维检测性能，使得该方法在 KITTI 测试集和 Waymo 验证集上的表现明显优于先前最先进的方法。

    Nov, 2022

  • MSMDFusion: 多尺度深度种子融合 LiDAR 和摄像头进行 3D 物体检测

    基于激光雷达和摄像头信息的融合对于实现自动驾驶系统中的准确可靠的三维物体检测至关重要。在该文中，提出了一种新颖的框架，其中利用了深度信息和激光雷达与摄像头之间的交互，实现更全面的多模态融合特征，并在 nuScenes 测试基准中取得了最新的 3D 目标检测结果，同时无需使用测试时间增广和集成技术。

    Sep, 2022

  • 感知感知多传感器融合用于 3D LiDAR 语义分割

    本文章提出了一种基于感知信息的多传感器融合策略（PMF），用于自动驾驶等应用中的 3D LiDAR 语义分割，通过两个模态的外观和空间深度信息进行感知信息融合并且提出了感知相关的损失函数用于衡量两种模式之间的差异性，实验结果证明了该方法的优越性。

    Jun, 2021

  • BiCo-Fusion: 双向互补 LiDAR - 相机融合用于语义和空间感知的 3D 目标检测

    提出了一种新颖的双向互补激光雷达 - 摄像头融合框架 BiCo-Fusion，可以实现鲁棒的语义感知和空间感知的 3D 目标检测。

    Jun, 2024

  • DeepFusion: 基于 Lidar 和相机的深度融合技术用于多模态 3D 物体检测

    本文介绍了一种通过将 lidar 特征与摄像头特征融合的方法来提高自动驾驶 3D 检测性能。基于 InverseAug 和 LearnableAlign，提出了一系列被称为 DeepFusion 的通用多模态 3D 检测模型，实现了对 PointPillars、CenterPoint 和 3D-MAN 基线的有效改进，表现出对输入异常和数据偏移的强大鲁棒性和最先进的性能，可公开获取代码

    Mar, 2022

  • 跨模态三维物体检测的双向传播

    本文描述了一种名为 BiProDet 的双向特征传播框架，使用点到像素的信息流和像素到点的信息流等机制优化了 3D 目标检测。同时，提出一种新的 2D 辅助任务，用于训练 2D 分支并间接提高 3D 检测的性能。实验证明，该方法在 KITTI 数据集的自行车类上的排名为第一位。

    Jan, 2023

  • 室内场景解析的三维到二维提炼

    该论文提出了一种新的室内场景语义分割方法，使用一个新的 3D-to-2D 分解框架，可以从大规模的 3D 数据中提取 3D 特征，以增强从 RGB 图像中提取的 2D 特征，并通过对其进行标准化和语义相关的对抗性训练对其进行改进。

    Apr, 2021

  • 利用 2D 和 3D 网络的补充性来解决 3D 语义分割中的领域偏移

    本文提出一种简单有效的多模态 3D 语义分割网络，利用来自不同传感器的信息进行语义分割并使其更加鲁棒，达到了优异的性能。

    Apr, 2023

  • 使用完全卷积神经网络进行 LIDAR-Camera 融合以实现道路检测

    使用深度学习方法结合 LIDAR 和相机图像，开发了一种道路检测方法，通过使用多模式信息，新提出的交叉融合 FCN 实现了更高的准确性，表现优异并跻身最佳方法之列。

    Sep, 2018

  • 光学和场景流的注意力多模态融合

    通过使用深度神经网络，并在不同的网络级别中应用自注意力机制以及交叉注意力机制，我们提出了一种名为 FusionRAFT 的方法，实现了早期传感器模态（RGB 和深度）之间的信息融合，以解决 RGB 信息不可靠的问题，在主动配准中取得了比最近方法更好的性能。

    Jul, 2023