May, 2023

基于视觉模型的行人动作预测分析

PDF
TL;DR本文研究如何利用图像信息来预测行人的行为，提出了几种基于 CNN 和 Transformer 的时空模型，分析了这些模型的预测结果的可解释性，强调在行人行为预测问题中可解释性的重要性。
autonomous vehiclespedestrian anticipationspatio-temporal model architecturescnntransformer
发现论文，激发创造
  • 使用堆叠递归神经网络中的上下文特征融合进行行人动作预测

    该论文提出了一种用于自主车辆识别和预测行人通过道路的行为的方法，使用了堆叠的 RNN 架构，并将来自各种来源的信息逐步融合到不同的处理级别中，通过广泛的实证评估，证明该算法与替代循环神经网络架构相比具有更高的预测准确性，并且还探究了观察长度，时间和特征类型对该方法性能的影响以及不同的数据融合策略对预测准确性的影响。

    May, 2020

  • 行人动作预测的多模态混合架构

    本研究提出了一种新颖的多模态预测算法，采用混合学习架构来分析环境的视觉特征和场景动态，预测行人的未来横穿行为，并在现有 2D 行人行为基准和新的 3D 驾驶数据集上进行评估，取得了最先进的表现。

    Nov, 2020

  • 向前看：使用未来帧预测过街行人

    本文提出了一种以行人安全为重点的端到端未来预测模型，使用从车辆视角记录的先前视频帧来预测行人是否会横穿车辆前面，其长期目标是设计出一个完全自主的系统，与有防御性的人类驾驶员一样预测未来事件并采取反应以降低风险，并利用编码器 / 解码器网络和深度时空网络实现对行人行为和未来帧预测的最新准确性。

    Oct, 2019

  • 利用特征融合和时空注意力预测行人过路意图

    该研究提出一种采用注意力机制和递归神经网络融合序列 RGB 影像、语义分割掩码和自车速度的神经网络结构，用于预测行人过马路意图，从而解决全局时空上下文与融合传感器数据的最优策略问题，实现了针对自动驾驶系统中行人行为预测的最优性能。

    Apr, 2021

  • 学习行人动作以确保安全自动驾驶

    研究 AV 预测行人短期和即时行为的不足，提出了一种基于 TF-ed 架构的新型多任务序列到序列解码器，用于只使用自车摄像机观测作为输入的行人动作和轨迹预测。在公开可用的 JAAD 数据集、CARLA 仿真数据以及校园实时无人驾驶班车数据上评估该方法，结果显示该方法在 JAAD 测试数据上的行为预测任务准确率为 81％，优于 LSTM-ed 7.4％，然而 LSTM 的姊妹机在长度为 25 帧的预测序列任务中表现更好。

    May, 2023

  • 行人意图预测的局部和全局情境特征融合

    该研究使用计算机视觉和多模态特征识别，以实现自主车辆与行人之间的安全互动，并在 JAAD 数据集上展示了比现有技术更优秀的预测结果。

    May, 2023

  • 基于时空 DenseNet 的自主地面车辆的行人实时意图预测

    本文提出了一种基于图像序列的单目 RGB 相机的实时框架，使用区别于基线方法的跟踪 - 检测技术和创新的时空 DenseNet 模型识别、跟踪和预测行人在城市交通环境中的意图和动作，以实现对自主地面车辆行为的理解。实验表明，该方法在实时性和效果方面比其他基线方法更具鲁棒性和竞争力，平均精度得分为 84.76％，帧率为 20FPS。

    Apr, 2019

  • 基于知识感知的图形转换器用于行人轨迹预测

    该论文提出了一个图变换器结构来改进预测性能，捕捉数据集中不同场所和情景之间的差异，并设计了一种自注意机制和域适应模块来提高模型的泛化能力。此外，还引入了一种考虑跨数据集序列的额外指标用于训练和性能评估目的。使用 ETH 和 UCY 等流行的公共数据集验证和比较了所提出的框架，实验结果表明了我们提出的方案的改进性能。

    Jan, 2024

  • 行人过马路行为预测的意图和行动耦合

    研究人员通过使用多任务网络和注意力关系网络，成功预测了未来行人动作，并将该预测作为先验来检测当前意图和行为，从而显着提高了交通安全性。

    May, 2021

  • 基于 3D 人体关键点的行人过街动作识别和轨迹预测

    提出了一个基于多任务学习的框架来识别行人穿越行为并预测其未来轨迹，利用从原始传感器数据提取出来的人体关键点来捕捉丰富的人体姿态和活动信息，同时引入辅助任务和对比学习以提高所学习人体关键点表达式的性能表现。在大规模内部数据集和公共基准数据集上进行验证，证明了该方法在多种评估指标上实现了最先进的性能。

    Jun, 2023