SUIT: 学习 3D 时间检测的重要性指导信息
本文提出了一种基于稀疏 LSTM 的多帧 3D 对象检测算法,使用 U-Net 风格的稀疏 3D 卷积网络提取每帧 LiDAR 点云的特征,并将这些特征与上一帧的隐藏和记忆特征一起输入到 LSTM 模块中,以预测当前帧中的 3D 对象,同时传递给下一帧的隐藏和记忆特征。实验结果表明,我们的算法在使用更少的内存和每帧计算的情况下优于传统的逐帧方法 7.5% [email protected] 和其他多帧方法 1.2% 。据我们所知,这是在稀疏点云中首次使用 LSTM 进行 3D 对象检测的工作。
Jul, 2020
我们解决了在各种交通场景下,对室外 LiDAR 点云进行无监督语义分割的问题,通过建立多帧之间的时空对应关系,将点云序列的时空特征引入强化扩充,融合聚类和伪标签学习,以无监督的学习方式学习辨别特征,展现出在自动驾驶车辆和交叉口基础设施方面的分割性能在 Semantic-KITTI,SemanticPOSS 和 FLORIDA 基准数据集上表现得很有竞争力,该通用框架可以为 LiDAR 点云的统一表示学习方法融入领域知识。
Aug, 2023
我们提出了一种基于时间 LiDAR 点云的迟到提早循环特征融合方案,用于 3D 物体检测。我们的主要动机是将物体感知的潜在嵌入融合到 3D 物体检测器的早期阶段。这种特征融合策略使模型能够更好地捕捉具有挑战性的物体的形状和姿态,相比直接从原始点学习。我们的方法以循环的方式进行迟到提早特征融合。这是通过在时间上校准和对齐的稀疏柱状令牌上施加基于窗口的注意力块来实现的。利用俯视图前景柱状分割,我们将模型需要融合到当前帧中的稀疏历史特征数量减少了 10 倍。我们还提出了一种随机长度的 FrameDrop 训练技术,它在推断时可以依据可变帧长度来改进性能而无需重新训练。我们在广泛采用的 Waymo Open Dataset 上评估了我们的方法,并证明在 3D 物体检测方面相对于基线模型有所改进,特别是对于挑战性的大物体类别。
Sep, 2023
提出了一种结合单目和基于点云的三维检测的平衡方法,使用低成本、低分辨率的传感器获取仅有 512 个点,然后将这有限的三维信息与单张图像结合重建完整的三维点云,通过与多模态现成的三维检测器结合使用,使得三维检测的准确率相比于最新的单目检测方法提高了 20%,相对于基准多模态方法在 KITTI 和 JackRabbot 数据集上提高了 6% 到 9%。
Apr, 2024
本文提出了一种新的实时方法,基于三维点云序列,采用时间上下文聚合实现动态检测和运动参数估计,可适用于自动驾驶车辆在复杂城市环境下进行安全导航,不仅可以估计车辆或行人等常见道路参与者的运动,还可推广到其他没有在训练数据中出现的物体类别,并对不同的时间上下文聚合策略进行了深入的分析,提供了我们最先进模型与 KITTI 场景流数据集上现有解决方案的比较结果。
Apr, 2020
本文探讨了形状完成技术在 LIDAR 三维物体追踪中的应用,设计了一个 Siamese 追踪器,通过对模型和候选形状进行编码,实现了更好的 3D 物体追踪。在 KITTI 追踪数据上的实验结果表明,该模型将成功率和准确率均提升了 3%以上。
Mar, 2019
本文提出了一种新的三维物体检测结构,该结构可以编码由多个连续扫描获取的 LiDAR 点云序列,并利用时空上下文实现较大的性能提升。通过短期运动感知体素编码和长期运动指导俯视图特征增强,可以对点云序列进行编码处理,结果显示,与基线方法相比,该模型在性能上显示出明显优越性,在某些三维检测类别方面表现出了最先进的性能。
Dec, 2022
使用 LIADAR 进行三维物体检测时,由于点云密度不均衡,距离传感器更远的物体采集的点较少,导致检测精度下降。为解决这一挑战,作者提出了名为 SIENet 的二阶段三维物体检测框架,其中设计了空间信息增强模块和多分支的混合范式区域提案网络 (HP-RPN) 等,其在 KITTI 三维物体检测基准测试数据集上取得了远超其他方法的显著性能表现。
Mar, 2021
提出一种新的 4D 全景 LiDAR 分割方法,将语义类和时间一致的实例 ID 分配给 3D 点序列,使用点为中心的评估度量来确定每个点的语义类别,将对象实例建模为 4D 时空域中的概率分布,从而以更高效的方式处理多个点云。这项工作展望未来的超高效 LiDAR 全景感知。
Feb, 2021
无人驾驶车辆中的目标检测与跟踪任务主要依靠相机和 LiDAR 等多种传感器,本研究在使用 LiDAR 点云的新编码方式基础上,通过推断自动驾驶车辆附近不同类别物体的位置,实现了对场景中物体位置和方向的预测。
Dec, 2023