ECCVJul, 2024

4D 对比超流是稠密的 3D 表示学习器

PDF
TL;DR在自动驾驶领域，准确的 3D 感知是其基础。为了解决依赖于昂贵且劳动密集的人工标注的问题，我们引入了 SuperFlow，这是一个新颖的框架，利用连续的 LiDAR 相机对建立时空预训练目标。SuperFlow 通过整合两个关键设计来脱颖而出：1）稠密到稀疏的一致性正则化，在特征学习过程中促进对点云密度变化的鲁棒性；2）基于流的对比学习模块，精心设计以从可用的传感器校准信息中提取有意义的时态线索。为了进一步提升学习效率，我们还增加了一个即插即拔的视图一致性模块，增强了从相机视角蒸馏出的知识的对齐。对 11 个不同的 LiDAR 数据集进行了广泛的比较和消融研究，验证了我们的有效性和优越性。此外，通过扩展 2D 和 3D 主干网络的预训练，我们观察到了一些有趣的新性质，为基于 LiDAR 的感知的未来研究提供了启示。
autonomous driving3d perceptionsuperflowlidar-camera pairsspatiotemporal pretraining objectives
发现论文，激发创造
  • 在伪激光雷达上进行 3D 场景流估计：填补点运动估计的差距

    本文提出了一种基于生成的深度图的方法，通过引入像素的稠密性来实现直接从 2D 图像学习 3D 场景流，以及利用统计方法和视差一致性损失来解决噪声点的问题，从而达到了更加有效的自监督学习 3D 场景流的目的。实验证明，这种方法优于合成数据集和激光雷达点云学习的方法，在场景流估计任务中表现出更好的稳定性和准确度。

    Sep, 2022

  • 基于稀疏雷达的自动驾驶车辆密集光流幻像

    本文提出了一种新的方法，从自动驾驶车辆的稀疏激光雷达数据中估计密集的光流，用作图像不可靠的情况下，如恶劣天气或夜间，替代任何基于图像的光流系统的替代方案。该方法使用多尺度滤波器的三级结构来推断离散范围数据的高分辨率 2D 流，并在 lidar 和图像域中结合多个中间目标。通过使用 FlowNet2 计算的假伪基于图像的光流，我们介绍了一个包含约 20K lidar 样本的 Kitti 数据集，并使用该数据集训练网络。我们在 Kitti 数据集上演示了我们方法的有效性，并表明尽管使用低分辨率和稀疏的 lidar 测量，我们可以回归与基于图像的方法相当的密集光流图。

    Aug, 2018

  • Flow4D: 利用 4D 体素网络进行 LiDAR 场景流估计

    通过在 3D 体素编码器之后在时间上融合多个点云，使用 3D 和 1D 卷积来代替重量级的 4D 卷积，利用五帧更丰富的时间信息，提出的 Flow4D 方法在实时运行下相比现有技术提高了 45.9% 的性能，并在 2024 年的 Argoverse 2 场景流挑战赛中获得第一名

    Jul, 2024

  • DELFlow：大规模点云场景流量的稠密高效学习

    通过将三维坐标储存在二维网格中，以稠密格式规范点云数据并提供有效的特征融合，从而在场景流估计问题上提供更高效和有效的方法。

    Aug, 2023

  • 真实世界点云的可伸缩场景流

    本文介绍一种新的基于运动跟踪的大规模数据集并提出适用于全点云的 FastFlow3D 架构，以更好地进行场景流预测并提高现实世界的表现。

    Mar, 2021

  • 自监督激光雷达场景流三维物体检测

    本文利用自监督多帧流表示和单帧三维检测假设之间的关系，将自监督训练策略与监督三维检测结合，提出一种利用场景流估计的自监督训练方法来增强三维检测性能的技术。实验表明，所提出的自监督预训练显著提高了三维检测性能。

    May, 2022

  • SeFlow: 无人驾驶中的自监督场景流方法

    本文提出了一种自我监督方法 SeFlow，能够通过将动态点进行分类来改善学习场景流流程的性能，尤其是在物体的细节上，从而实现自主车辆精确预测和理解环境动态变化的能力。

    Jul, 2024

  • CL-Flow：通过对比学习加强归一化流以实现更好的异常检测

    我们提出了一种自监督异常检测方法，结合对比学习和 2D-Flow，以实现更精确的检测结果和更快的推理过程。与主流的无监督方法相比，我们的方法展示了优越的检测准确度、更少的额外模型参数和更快的推理速度，整个训练和推理过程都是端到端的。

    Nov, 2023

  • 由超点引导的无监督 3D 场景流估计

    本文提出了一种基于可动态更新超级点的 3D 场景流估计框架，该框架结合超级点生成模块和超级点导向流细化模块，通过流提导超级点的生成和可适应聚合超级点级流来重建点的流，并将一致性编码和重建流输入 GRU 以细化点级流，实现了对复杂 3D 场景的准确估计。

    May, 2023

  • 基于时空对比自监督学习的 POI 级人群流推理

    准确获取景点的人群流量对于有效的交通管理、公共服务和城市规划至关重要。然而，由于城市感知技术的限制，大多数数据来源的质量不足以监测每个景点的人群流量，从低质量数据推断准确的人群流量成为一项关键且具有挑战性的任务。为了应对这些挑战，我们将人群流量推测问题重新定义为自监督的属性图表示学习任务，并引入了一种名为 Contrastive Self-learning framework for Spatio-Temporal data (Model) 的新颖方法。我们的方法首先基于景点及其之间的距离构建了一个空间邻接图，然后采用对比学习技术来利用大量无标签的时空数据。我们采用了交换预测方法来预测目标子图的表示形式。在预训练阶段之后，模型通过准确的人群流量数据进行微调。我们在两个真实数据集上进行的实验证明，经过广泛噪声数据的预训练的 Model 始终优于从头开始训练的模型。

    Sep, 2023