Dec, 2023

G-MEMP：驾驶中基于注视增强的多模态自我运动预测

PDF
TL;DR我们研究了司机的决策过程对确保道路安全的重要性，通过利用司机的注视数据来推测司机自身的车辆行驶轨迹，提出了 G-MEMP 方法，利用 GPS、视频和注视数据进行多模态的自身车辆行驶轨迹预测，并通过提出的路径复杂度指数（PCI）来评估轨迹复杂性，在多个基准数据集上验证了该方法的有效性。
decision-making processroad safetydriver intentego-motion trajectorygaze data
发现论文，激发创造
  • 摩托思考：全像素匹配的自我运动预测

    通过应用光流和自我运动补偿的图像方法，该项目解决了行人应用中的运动分析问题，预测人类或机器运动意图的位置和方式，并通过高斯聚合稳定预测的运动焦点区域，增强了运动方向的预测准确性。

    Apr, 2024

  • GazeMotion: 凝视引导的人体动作预测

    GazeMotion 是一种结合过去人体姿势和人眼注视信息进行人体动作预测的新方法，通过预测未来眼睛注视点并将其与过去的姿势融合成注视 - 姿势图，再利用残差图卷积网络预测身体运动。在多个基准数据集的评估中，我们的方法在关节位置误差的平均改进上超过了最先进的方法 7.4％。即使使用头部方向作为眼睛注视的替代，我们的方法的平均改进率也达到了 5.5％。我们还通过在线用户研究展示了我们方法在感知逼真度方面超过之前方法的结果。这些结果展示了眼睛注视在人体动作预测中的重要信息内容以及我们方法在利用这些信息方面的有效性。

    Mar, 2024

  • 一种新的基准测试范式和基于尺度和动态感知的自身行为者行人轨迹预测模型

    本文提出了一种基于场景进行评估的新模式，以评估自主行驶系统中行人轨迹预测算法的挑战，并通过实证评估在多模态来源数据的融合和有效的分层方式下取得了显著的改进。

    Oct, 2023

  • 基于图的交互感知多模态 2D 车辆轨迹预测利用扩散图卷积网络

    通过捕捉交互作用，这项研究提出了基于图的多模态轨迹预测模型，利用扩散图卷积网络有效预测未来车辆轨迹，并给出了相应概率，解决车辆交互和多模态行为的挑战。

    Sep, 2023

  • 基于自身移动感知的鲁棒多目标跟踪模块

    本文提出了一种新的 KF-based 预测模块，通过整合相机运动、深度信息和目标运动模型，解耦相机运动对目标轨迹的影响，最大程度地提高目标运动模型的可靠性，从而显著降低 OC-SORT 和 Deep OC-SORT 的身份切换数量，提高性能指标如 HOTA 超过 5%。

    Apr, 2024

  • 优化自车轨迹预测：图增强方法

    使用鸟瞰图和图神经网络等方法代替深度神经网络，实现对自动驾驶系统中车辆轨迹进行准确预测。

    Dec, 2023

  • 基于视觉光流蒸馏的自动驾驶端到端可解释运动规划学习

    该研究提出了一种基于端到端视觉的自主驾驶轨迹规划方法，使用生成的鸟瞰图中的未来语义地图进行路径规划，增强了自动驾驶的安全性和解释性。

    Apr, 2021

  • EMAG: 自我动作感知的、通用化的从第一人称视频中预测二维手势

    从利用自我中心视频预测未来人类行为具有挑战性但又至关重要的任务入手，本文提出了一种理解人类意图的自我中心视频下的手预测方法，该方法解决了自我中心视频中的自我运动对未来帧中的 2D 手位置的严重影响以及基于视觉信息预测过度拟合背景或场景纹理的问题，并在大规模数据集上验证了其有效性。

    May, 2024

  • 瞄准正确的物品：自动驾驶的引导性语义凝视

    该论文提出了一种基于场景语义和注视信息相结合的自动驾驶注意力预测方法 SAGE，并通过修改自动驾驶的关键预测参数，设计了一个完整的预测框架 SAGE-Net，实验证明 SAGE 在不增加计算量的情况下，可以优于现有技术 87.5% 的案例。

    Nov, 2019

  • MPIIGaze: 实际场景数据集与深度外貌取向估计

    我们提出了 MPIIGaze，包括 213659 个人的实验数据，并对现有的三个数据集进行了广泛的评估，研究了目标视线范围、光照条件和面部外观变化等关键挑战，提出了第一种深度外观估计方法 GazeNet，并将平均误差从 13.9 度提高到 10.8 度，这是当前技术水平的改进。

    Nov, 2017