Mar, 2024

JointMotion：联合自监督的联合动作预测

PDF
TL;DR我们提出了 JointMotion，一种用于自动驾驶中联合运动预测的自我监督学习方法。该方法包括一个连接运动和环境的场景级目标和一个细化学习表示的实例级目标。我们的评估结果表明，这些目标相辅相成，并且在联合运动预测的预训练中胜过最近的对比和自编码方法。此外，JointMotion 适应所有常用的用于运动预测的环境表示类型（即以代理为中心、场景为中心和成对的相对位置），并在 Waymo Open Motion 和 Argoverse 2 Forecasting 数据集之间实现了有效的迁移学习。值得注意的是，我们的方法将 Wayformer、Scene Transformer 和 HPTR 的联合最终位移误差分别提高了 3%、7% 和 11%。
jointmotionself-supervised learningjoint motion predictionautonomous drivingtransfer learning
发现论文，激发创造
  • 面向自动驾驶的大规模交互式运动预测：Waymo 开放运动数据集

    该研究介绍了当前最全面的交互式动作数据集，包含超过 100,000 个场景，用于发展动作规划模型与提供强大的基线模型来对单独或多个交互式对象进行预测，并提供了新的度量方法。

    Apr, 2021

  • 自主驾驶中基于运动的无监督感知与预测

    本文提出一种使用自学生成流技术的框架，自动学习行驶中的自由运动的物体，以替代在自主驾驶系统中昂贵的人工标注，实现更广泛、准确、自主的交通参与者识别和动作预测。

    Oct, 2022

  • 多人动作预测的联合关系变换器

    我们提出了关节 - 关系转换器，利用关系信息来增强交互建模和提高未来运动预测的准确性。

    Aug, 2023

  • 通过上下文和运动解耦实现自监督视频表示学习

    本文提出了一种自监督学习的方法，通过在压缩视频中提取关键帧和动态向量来分别监督上下文和动态信息，并同时设计了两种预设任务，即上下文匹配任务和动态预测任务，以提高视频表示的质量和行动识别准确性。

    Apr, 2021

  • 条件运动传递的自监督学习

    本篇研究提出了一种新的基于条件运动传播和稀疏光流技术的自监督学习范式，能够有效地学习视觉表征，并在语义分割、实例分割以及人体解析等多个任务上实现最先进的自监督学习表现，还能实现半自动像素级标注。

    Mar, 2019

  • 自主驾驶的自监督支柱运动学习

    本文提出了一种基于点云数据和自监督学习的动态估计框架，旨在高效精确地估计自动驾驶汽车与其他动态交通参与者的相对运动状态，并在实验中表现出与有监督方法相当的竞争力。

    Apr, 2021

  • ContrastMotion: 大规模 LiDAR 点云自监督场景运动学习

    提出一种基于 LiDAR 的自主驾驶的自监督运动估计器，采用特征级一致性预测场景运动，使用 Soft 判别损失进行对比学习，使用门控多帧融合块自动学习点云帧之间的有效补偿，最终通过支柱关联预测支柱对应概率，进而预测场景运动。

    Apr, 2023

  • 文本到运动检索的联合数据集学习和交叉一致性正则化

    本文研究了运动姿势估计方法、文本与运动之间的检索任务、多数据集联合训练、交叉一致对比损失以及 MoT++ 等关键概念，并通过实验证明了提出的方法在 KIT Motion-Language 和 HumanML3D 数据集上的有效性。

    Jul, 2024

  • MotionNet: 基于鸟瞰图的自动驾驶联合感知与运动预测

    本文提出了一种高效的深度学习模型 MotionNet，通过 LiDAR 扫描的数据实现自动驾驶中的感知和运动预测，该模型基于一种新颖的时空金字塔网络，可以提取深层次的时空特征，并且通过空间和时间一致性约束进一步规范了模型的训练。实验证明，该方法的性能明显优于现有的基于场景流和 3D 目标检测的方法，有望在自动驾驶中提供备用方案和对运动规划员提供补充信息。

    Mar, 2020

  • SEPT：面向运动预测的高效场景表示学习

    该研究呈现了 SEPT，一个利用自我监督学习来开发复杂交通场景的强大时空理解能力的建模框架，其通过三个遮蔽 - 重构建模任务对包括车辆轨迹和道路网络在内的场景输入进行预训练，然后在下游预测任务上微调，实验证明 SEPT 在 Argoverse 1 和 Argoverse 2 运动预测基准测试中无需繁琐的架构设计或手动特征工程，在所有主要指标上都显著优于以前的方法。

    Sep, 2023