May, 2023

DualCross: 单目 BEV 感知的跨模态跨域适应

PDF
TL;DR本文提出了一个名为 DualCross 的跨模态跨领域自适应框架，以便从 LiDAR 数据中转移点云知识，使得单目鸟瞰感知模型更具鲁棒性，进而在不同的领域和传感器输入情况下进行测试，从而解决单一主题的一些瓶颈问题，取得了与各种基线的最新成果相比的最新成果。
self-drivingsensor modalitiesdomain gapcross-modalitymonocular 3d tasks
发现论文，激发创造
  • BEV-DG: 基于鸟瞰图的跨模态学习用于 3D 语义分割领域泛化

    跨模态无监督领域自适应旨在利用二维 - 三维数据的互补性来克服新领域中缺乏注解的问题。本研究提出了基于鸟瞰图的跨模态学习方法，用于三维语义分割的领域泛化。通过鸟瞰图下的交叉模态学习，优化了与领域无关的表示建模，同时提出了鸟瞰图驱动的领域对比学习方法来建模领域无关的表示。在三个三维数据集上，BEV-DG 在所有设置中明显优于现有方法，差距显著。

    Aug, 2023

  • 基于鸟瞰 LiDAR 点云数据的车辆检测领域自适应

    本研究通过提出基于 CycleGAN 架构的域自适应框架，在从真实 3D LiDAR 传感器获取的鸟瞰（BEV）点云图像上检测车辆时，将合成的点云数据与真实点云数据之间的领域转移缩小，相对于常规方法提高了超过 7% 的平均精确度分数。

    May, 2019

  • 基于交叉模态学习的三维语义分割领域自适应

    本文介绍了一种新的领域适应策略 - “交叉模态学习”，在无监督和半监督领域适应设置下，通过两种模式的相互模仿实现模态之间的一致性，在 3D 语义分割任务中证明了该方法的有效性

    Jan, 2021

  • 面向鸟瞰视角的多视角三维物体检测领域泛化

    本论文提出了一种名为 DG-BEV 的方法，通过将同态转换的测度深度预测转换为尺度不变深度来获得强健的深度预测，并使用单应性进行动态透视增强以增加外参参数的多样性，并通过多个伪域值修改对抗性训练损失来构建特征表示，从而显著减轻了目标领域的性能下降。

    Mar, 2023

  • 自我监督的鸟瞰运动预测与跨模态信号

    通过引入新颖的跨模态自监督训练框架，本文解决了点云方法中的假流和不一致性问题，提出了三种创新的监督信号来保留场景动作的内在属性，包括遮罩 Chamfer 距离损失、分段刚性损失和时间一致性损失，通过广泛实验证明，我们提出的自监督框架在动作预测任务中优于所有先前的自监督方法。

    Jan, 2024

  • X-Align++: 用于鸟瞰图分割的跨模态跨视图对齐

    本文提出了一种新的跨模态和跨视角学习框架，使用基于注意力的跨模态特征融合模块和辅助 PV 分割分支，旨在提高 BEV 分割的性能。在 nuScenes 和 KITTI-360 数据集上的评估结果表明，该方法明显优于现有技术并能够更好地应用于自动驾驶。

    Jun, 2023

  • DistillBEV：利用跨模态知识蒸馏提升多摄像头三维目标检测

    通过训练基于多视角鸟瞰图（BEV）的学生检测器来模仿经过训练的基于 LiDAR 的教师检测器的特征，从而提高多视角 BEV 的表示学习，并通过有效的平衡策略和多尺度层的时间融合实现知识传输，实验证明该方法在多个多视角 BEV 模型上显著改善了学生模型，达到了流行基准 nuScenes 的最新性能。

    Sep, 2023

  • DualBEV: CNN 是视角变换中所需的全部

    Camera-based Bird's-Eye-View perception, DualBEV, eliminates the need for a resource-intensive Transformer by proposing a unified framework utilizing a shared CNN-based feature transformation, resulting in state-of-the-art performance and comparable efficiency to the Lift-Splat-Shoot approach.

    Mar, 2024

  • BEVFusion: 多任务多传感器融合及其基于统一俯视图的表示

    本研究提出 BEVFusion，这是一种有效和通用的多任务多传感器融合框架，通过在共享的鸟瞰图表示空间中统一多模态特征，从根本上支持不同的 3D 感知任务，并在 nuScenes 上创立了新的技术水平

    May, 2022

  • X-Align: 鸟瞰视角分割的跨模态跨视图对齐

    本文提出了一种新颖的端到端跨模态和跨视角学习框架 X-Align，用于鸟瞰图分割，通过增强单模态特征之间的对齐，改进多模态特征的融合以及优化视角变换，该方法在 nuScenes 和 KITTI-360 两个常用的基准数据集上均有显著优势。

    Oct, 2022