Jul, 2023

多模态变压器下的上下文感知行人轨迹预测

PDF
TL;DR我们提出了一种新颖的解决方案，用于预测行人的未来轨迹。我们的方法使用多模态编码 - 解码变换器架构，以行人位置和自车速度作为输入。值得注意的是，我们的解码器一次性预测整个未来轨迹，而不进行一步预测，这使得该方法适用于嵌入式边缘部署。我们在两个流行数据集 PIE 和 JAAD 上进行了详细实验和评估，定量结果证明我们所提出的模型在 0.5、1.0 和 1.5 秒三个时间范围内始终具有最低误差，并且相对于现有最先进技术的速度更快。此外，消融实验证明了我们方法的关键多模态配置的影响。
predicting future trajectoriespedestrian locationsego-vehicle speedsmultimodal encoder-decoder transformer architectureembedded edge deployment
发现论文，激发创造
  • 基于知识感知的图形转换器用于行人轨迹预测

    该论文提出了一个图变换器结构来改进预测性能，捕捉数据集中不同场所和情景之间的差异，并设计了一种自注意机制和域适应模块来提高模型的泛化能力。此外，还引入了一种考虑跨数据集序列的额外指标用于训练和性能评估目的。使用 ETH 和 UCY 等流行的公共数据集验证和比较了所提出的框架，实验结果表明了我们提出的方案的改进性能。

    Jan, 2024

  • 基于 Transformer 的多模式神经网络用于自动驾驶的运动预测

    本文介绍了一种基于 Transformer 结构的神经预测框架来模拟车辆之间的社交关系和预测可能的轨迹，其中采用了多模态注意机制来解决运动预测的多模态问题，并在 Argoverse 运动预测数据集上得到了最佳预测精度。

    Sep, 2021

  • 学习行人动作以确保安全自动驾驶

    研究 AV 预测行人短期和即时行为的不足，提出了一种基于 TF-ed 架构的新型多任务序列到序列解码器，用于只使用自车摄像机观测作为输入的行人动作和轨迹预测。在公开可用的 JAAD 数据集、CARLA 仿真数据以及校园实时无人驾驶班车数据上评估该方法，结果显示该方法在 JAAD 测试数据上的行为预测任务准确率为 81％，优于 LSTM-ed 7.4％，然而 LSTM 的姊妹机在长度为 25 帧的预测序列任务中表现更好。

    May, 2023

  • 基于图形的空间变换器与记忆重放的多未来行人轨迹预测

    本文提出了一种基于多尺度图形空间变换和记忆重现的轨迹平滑算法模型，可以在预测单一和多个未来路径的同时，综合利用空间信息并修正时间不一致的轨迹，同时还提出了一个新的评估指标来评估多轨迹预测的全面性。

    Jun, 2022

  • 基于注意力的社交图变换网络用于随机轨迹预测

    提出了一种关注社交图转换网络的多模态轨迹预测方法，它结合了图卷积网络和 Transformer 网络，并通过生成稳定分辨率的伪图像来处理空时图，还设计了关注社交交互信息的模块。实验证明该模型在多个度量指标上最大限度地降低了位移误差，并显著减少碰撞的可能性，同时具备长时间预测的能力。

    Dec, 2023

  • 行人动作预测的多模态混合架构

    本研究提出了一种新颖的多模态预测算法，采用混合学习架构来分析环境的视觉特征和场景动态，预测行人的未来横穿行为，并在现有 2D 行人行为基准和新的 3D 驾驶数据集上进行评估，取得了最先进的表现。

    Nov, 2020

  • 基于空间交互变换器网络的行人轨迹预测

    本文介绍了一种基于空间交互转化器 (SIT) 的生成方法，该方法通过注意机制学习行人轨迹的时空相关性，并引入条件变分自动编码器 (CVAE) 框架对行人的未来潜在运动状态进行建模。大规模交通数据集 nuScenes 上的实验结果表明，SIT 的性能优于最先进的方法，并在具有挑战性的 ETH 和 UCY 数据集上得到了验证。

    Dec, 2021

  • 一种新的基准测试范式和基于尺度和动态感知的自身行为者行人轨迹预测模型

    本文提出了一种基于场景进行评估的新模式，以评估自主行驶系统中行人轨迹预测算法的挑战，并通过实证评估在多模态来源数据的融合和有效的分层方式下取得了显著的改进。

    Oct, 2023

  • 向前看：使用未来帧预测过街行人

    本文提出了一种以行人安全为重点的端到端未来预测模型，使用从车辆视角记录的先前视频帧来预测行人是否会横穿车辆前面，其长期目标是设计出一个完全自主的系统，与有防御性的人类驾驶员一样预测未来事件并采取反应以降低风险，并利用编码器 / 解码器网络和深度时空网络实现对行人行为和未来帧预测的最新准确性。

    Oct, 2019

  • 基于时空关注模型的情境感知行人轨迹预测

    本文提出了一种基于时空图的长短期记忆神经网络，用于在拥挤环境中预测行人的轨迹，考虑与场景中的静态和动态元素的交互，结果表明，相比于其他方法，本方法在人类轨迹预测方面能够将平均位移误差（ADE）和最终位移误差（FDE）分别降低高达 55％和 61％。

    Feb, 2019