ECCVJul, 2022

AutoAlignV2：用于动态多模态 3D 物体检测的可变形特征聚合

PDF
TL;DR本研究提出了 Cross-Domain DeformCAFA 模块，以解决 AutoAlign 在全局关注方面存在的高计算成本问题。加入了特定采样点的跨模态关系建模，还设计了跨模态增强策略和图像级 dropout 训练方案，提出了一种更快、更强的 AutoAlignV2 多模态 3D 检测框架。
point cloudsrgb imagesautoalignv2multi-modal 3d detectioncross-modal augmentation
发现论文，激发创造
  • AutoAlign：用于多模态 3D 物体检测的像素 - 实例特征聚合

    本研究提出了一种自动特征融合策略 AutoAlign，通过可学习的对齐映射以及交叉注意力特征对齐模块和自监督跨模态特征交互模块实现图像和点云数据源的同步处理，实验结果表明该方法在 KITTI 和 nuScenes 数据集上都有较好的表现。

    Jan, 2022

  • SCA-PVNet：自我与交叉注意力的点云和多视图聚合用于 3D 对象检索

    我们提出了基于点云和多视角图像的自我和交叉注意力聚合方法 (SCA-PVNet) 来进行三维目标检索，通过设计两种特征聚合模块（即 In-Modality Aggregation Module (IMAM) 和 Cross-Modality Aggregation Module (CMAM)），通过自我和交叉注意力机制有效地融合多视角特征和点云特征，从而获得目标检索的最终描述符。我们在从小到大范围的三个数据集上进行了大量实验和分析，证明了提出的 SCA-PVNet 方法在三维目标检索领域的卓越性能。

    Jul, 2023

  • GraphAlign: 多模态三维物体检测中通过图匹配提升准确的特征对齐

    本文介绍了一种名为 GraphAlign 的更准确的 3D 物体检测特征对齐策略，采用图匹配的方式融合来自图像分割编码器的图像特征和来自 LiDAR 的点云特征，通过投影校准和自我注意机制实现异构模态间的特征对齐。我们在 nuScenes 基准上进行广泛实验，证明了 GraphAlign 的有效性和效率。

    Oct, 2023

  • 学习的多模态对齐的 4D-Net

    4D-Net 是一种使用 3D 点云和 RGB 感知信息，利用动态连接学习和几何约束来进行三维物体检测的方法。在 Waymo Open Dataset 上，相较于现有方法和强基线，其利用运动线索和密集图像信息更能成功检测到远处的物体。

    Sep, 2021

  • 用于自动驾驶的多视角三维物体检测网络

    该论文研究了自动驾驶场景下高精度的 3D 物体检测问题。其提出了 Multi-View 3D networks（MV3D）框架，该框架采用多传感器融合技术，将 LIDAR 点云和 RGB 图像作为输入，并预测有方向的 3D 界限框。实验表明，该方法在 3D 定位和 3D 检测任务方面的表现优于现有技术约 25％和 30％，在 2D 检测中也表现出显著的技术优势。

    Nov, 2016

  • 利用多粒度跨域对齐提升异常分割

    提出了适用于复杂驾驶环境中异常物体分割的多粒度跨域对齐（MGCDA）框架，该框架将新的多源领域对抗训练（MDAT）模块和新的跨域异常感知对比学习（CACL）方法结合起来，以增强模型的普适性，无缝地整合多域数据，并在场景和样本级别上进行操作。

    Aug, 2023

  • GPA-3D: 无监督域自适应点云三维物体检测中的几何感知原型对齐

    提出了一种新颖的无监督领域自适应三维检测框架 GPA-3D，通过显式利用点云对象的内在几何关系来减少特征差异，从而实现跨领域的转移，并在各种基准测试中证明了其优越性。

    Aug, 2023

  • 基于动态信息建模的自动驾驶 3D 物体检测

    提出了一种动态信息建模的新型三维物体检测框架，通过 InfoFocus 适应性地优化点云密度信息，实现在 nuScenes 检测基准集上 31 FPS 的实时性及 9.0% mAP 的最先进性能。

    Jul, 2020

  • 合作式新颖物体发现与基于盒子引导的跨模态对齐在开放词汇 3D 物体检测中的应用

    CoDAv2 是一个统一的框架，用于创新性地解决有限基本类别条件下的新型 3D 物体的定位和分类问题，其中使用 3D 几何和 2D 开放词汇语义先验来发现训练期间新型物体的伪标签以及通过 3D 点云和 2D / 文本模态之间的特征对齐来提升分类准确性。

    Jun, 2024

  • 基于多粒度跨模态对齐的开放词汇语义分割学习

    提出了一种多粒度跨模态对齐 (MGCA) 框架，通过在像素级、对象级和区域级学习对齐来解决现有方法在像素级预测和训练时的粒度差异问题，并采用硬采样策略促进精细的跨模态对比学习，进一步开发自适应语义单元来改善像素预测单元在下游分割中的缺陷。在 CC3M 数据集上进行训练后，该方法在性能上显著超过了现有的方法，验证了其有效性和高效性。

    Mar, 2024