CVPRMar, 2023

基于运动引导的序列融合技术用于点云序列的高效三维物体检测

PDF
TL;DR本文提出了一种基于运动引导的序列融合（MSF）方法，通过利用物体的运动连续性来挖掘有用的序列上下文，结合双向特征聚合（BiFA）模块和基于体素采样的点云池化技术，使得数百万个点能够在几毫秒内被处理，实现了比其他多帧检测器更好的效率和领先的准确性，并在 Waymo Open Dataset 的 LEVEL1 和 LEVEL2 测试集上分别取得了 83.12% 和 78.30% 的 mAP。
point cloud sequencesobject detectionmotion-guided sequential fusionbidirectional feature aggregationwaymo open dataset
发现论文，激发创造
  • 从点云序列学习场景动态

    提出了一个新问题 -- 顺序场景流估计（SSFE），旨在从给定序列中估计所有点云对的三维场景流。引入 SPCM-Net 架构来解决该问题，利用时间和空间的多尺度相互关系以及顺序不变的循环单元来聚合关联。通过实验验证表明，与仅使用两个帧相比，处理点云序列的递归处理结果更好。这一方法可有效地修改为顺序点云预测（SPF）的问题，并使用自监督训练和评估指标进行实验结果的评估。提供了新的基准数据集，对多帧估计和预测进行测试，这将在未来的研究中起到重要作用。

    Nov, 2021

  • 基于车辆运动预测的 3D 物体检测框架融合

    本文提出了一种基于历史帧和关联模型的 3D 物体检测方法 ——FrameFusion，使用车辆运动模型来确定物体的未来位置并应用加权非极大值抑制算法，从而获得融合后的帧，以此显著提高 3D 检测器的性能。

    Jun, 2023

  • 基于空间融合网络的实时语义分割

    本文提出了一种高效的 CNN 方法 ——MSFNet，它利用类边界监督和多特征融合模块来实现实时语义分割，并在 Cityscapes 和 Camvid 数据集上得到了比现有方法更好的结果。

    Nov, 2019

  • 多模态多层次融合的三维单目标跟踪

    提出 MMF-Track，一种多模态多级融合跟踪器，利用点云的几何和图像纹理特征跟踪 3D 目标，在 KITTI 上实现了最先进的性能表现，并在 NuScenes 上具有竞争力。

    May, 2023

  • MGTANet：使用长短期运动引导时间注意力编码顺序 LiDAR 点以进行 3D 物体检测

    本文提出了一种新的三维物体检测结构，该结构可以编码由多个连续扫描获取的 LiDAR 点云序列，并利用时空上下文实现较大的性能提升。通过短期运动感知体素编码和长期运动指导俯视图特征增强，可以对点云序列进行编码处理，结果显示，与基线方法相比，该模型在性能上显示出明显优越性，在某些三维检测类别方面表现出了最先进的性能。

    Dec, 2022

  • GMSF: 全局匹配场景流

    本文提出了一种使用单尺度全局匹配的方法，使用混合的本地 - 全局 - 交叉转换器架构分解了特征提取步骤，以精确稳健的特征表示的可靠特征相似性为关键，并在多个场景流估计基准测试中取得了最新的最先进的性能。

    May, 2023

  • 一个广义的多模型融合检测框架

    本文提出了一种名为 MMFusion 的多模态 3D 检测框架，以在复杂场景中实现 LiDAR 和图像的准确融合，通过实验证明，该框架不仅优于现有基准，而且尤其适用于在 KITTI 基准上检测骑自行车和行人。

    Mar, 2023

  • STF：时空融合模块提升视频目标检测

    通过利用视频中连续帧的冗余和相关的互补信息，我们提出了一个时空融合框架，其中包括多帧和单帧关注模块，以及可学习地合并特征图以改进物体检测性能的双帧融合模块。实验证明，该融合模块相比基线物体检测器能够提高检测性能。

    Feb, 2024

  • 预测为基础的三维物体检测：使用连续图像

    本文提出了一种名为 P2D 的新型三维物体检测模型，它将预测方案整合到检测框架中，显式提取和利用运动特征，以及引入基于预测物体信息的 Bird's-Eye-View（BEV）特征的新型时间特征聚合方法，结果表明，与基线相比，P2D 可以显著提高检测精度。

    Jun, 2023

  • 多投影融合用于 3D LiDAR 点云的实时语义分割

    这篇论文提出了一种基于多视角融合的 3D 点云语义分割方法，通过对球面和鸟瞰图进行高效的二维卷积神经网络分割，结合两个视角的分割结果，有效缓解了单个视角方法中存在的信息损失问题，既能提高准确率又能保证速度，在 SemanticKITTI 数据集上实现了高准确率（mIoU 为 55.5），同时比目前最先进的基于投影的方法 RangeNet++ 和 PolarNet 分别快 1.6 倍和 3.1 倍。

    Nov, 2020