Oct, 2023

三维物体检测的多模态物体查询初始化

PDF
TL;DR提出了 EfficientQ3M，一种高效、模块化、多模态的解决方案，用于基于 transformer 的 3D 目标检测模型中的对象查询初始化。通过与 “模态平衡” 的 transformer 解码器相结合，该方法能够在解码器过程中使查询能够访问所有传感器模态，并在竞争激烈的 nuScenes 基准测试中超越现有方法，展示了基于输入的多模态查询初始化的优势，并且比 LiDAR - 摄像机初始化的可用替代方法更高效。该方法可以应用于任何组合的传感器模态作为输入，展示了它的模块化特性。
3d object detectionlidarcamera sensor featurestransformer architecturemultimodal query initialization
发现论文，激发创造
  • 用 Transformer 实现姿态作为查询：图像到 LiDAR 地图的定位

    本研究提出一种新型的基于 Transformer 的神经网络，可以在 end-to-end 的情况下将 2D 图像注册到 3D LiDAR 地图中进行车辆定位，达到了一定的准确度和实用性。

    May, 2023

  • DQ-Det：基于 Transformer 的物体检测与分割的学习动态查询组合

    使用基于 Transformer 的检测和分割方法，学习检测查询列表以从变压器网络中检索信息，并学习预测每个查询中一个特定对象的位置和类别。通过学习基于图像的高层语义的动态系数的凸组合的方式，生成的动态查询更好地捕获不同图像中对象位置和类别的先验信息。利用我们的模态查询，一系列基于 DETR 的模型在多个任务中实现了一致且优秀的性能，包括物体检测，实例分割，全景分割和视频实例分割。

    Jul, 2023

  • 野外多模态查询对象检测

    MQ-Det 是一种多模态查询目标检测方法，结合了文本和图像作为类别查询，该方法通过在现有的只有文本的检测器中插入可扩展的感知模块，将类别文本与类别视觉信息相结合，并提出了一种视觉条件掩码语言预测策略，可以显著提高开放式检测的性能。

    May, 2023

  • 多模态变换器增强的 LiDAR 点云生成的生成式人工智能

    通过综合感知和通信技术，提出了一种利用图像和雷达数据合成激光雷达点云的方法，从而增强无线通信系统的性能，并通过与现有感知模态的整合，提高各种无线应用的表现。

    May, 2024

  • 多模态融合 Transformer 用于端到端自动驾驶

    本文提出使用多模态融合转换器 TransFuser 对图像和 LiDAR 传感器的信息进行整合以实现先进的自动驾驶技术，在 CARLA 城市驾驶模拟器中实验验证证明该方法在处理复杂场景时比传统基于几何的融合方法有更好的效果，并且在减少碰撞方面表现出色。

    Apr, 2021

  • TransFusion: 基于 Transformer 的稳健激光雷达 - 相机融合用于三维目标检测

    TransFusion 是一种稳健的解决方案，用于处理自动驾驶中 LiDAR 和摄像头数据融合时面对的图像质量下降和误差校准问题。该方法结合了使用浅层目标查询从 LiDAR 点云预测初始边界框和自适应融合对象查询与有用的图像特征，使用注意机制确定应该从图像中获取哪些信息的特点，在大规模数据集上表现良好。

    Mar, 2022

  • 无线通信的多模态变压器：波束预测案例研究

    本文介绍了一种多模态变压器深度学习框架，用于辅助感知的波束预测。通过使用卷积神经网络从一系列图像、点云和雷达原始数据中提取特征，并使用变压器编码器学习不同模态和时间实例之间的隐藏关系，生成下一级特征提取的编码向量。通过在不同模态的组合上进行监督学习来训练模型，实验结果表明，使用图像和 GPS 数据训练的解决方案在预测波束的距离准确率方面表现最佳，为 78.44％，并具有有效的推广性。

    Sep, 2023

  • CAT-Det: 多模式三维物体检测的对比增强变换器

    提出了一种新的多模态三维物体检测方法 - CAT-Det，将深度学习和对比学习相结合，更好地利用 LiDAR 和 RGB 图像之间的互补信息来提高检测准确性。

    Apr, 2022

  • 自动驾驶中的多模态 3D 物体检测：一项综述

    本文介绍了自动驾驶所使用的流行传感器、它们的数据性质以及相应的目标检测算法。还讨论了用于评估多模态 3D 目标检测算法的现有数据集。接着对基于多模态融合的 3D 检测网络进行了回顾，并介绍了它们的融合阶段、融合输入和融合粒度以及这些设计选择如何随着时间和技术而演变。最后讨论了面临的挑战以及可能的解决方案。希望本文能帮助研究人员了解多模态 3D 目标检测领域并进行相关研究。

    Jun, 2021

  • 面向自动驾驶的具有变换对称性的三维物体检测

    在自动驾驶领域，应用 TED 模型能够高效地检测汽车等 3D 物体。TED 利用稀疏卷积提取多通道等变体素特征，使得其在处理大量数据时仍然能快速的检测物体。同时，在 KITTI 竞赛的排名上表现十分出众，达到全球第一。

    Nov, 2022