May, 2024

交互意图预测的双向渐进变形器

PDF
TL;DR通过引入一种新型的双向递进式 Transformer 模型 (BOT)，该论文利用手部轨迹和交互热点之间的深层内在连接，通过空间 - 时间重构模块最大程度地利用来自前一观察帧的空间信息，通过双向递进式增强模块相互改进手部轨迹和交互热点的预测，以降低错误积累，并通过引入轨迹随机单元和 C-VAE 分别为轨迹和交互热点引入适当的不确定性。该方法在 Epic-Kitchens-100、EGO4D 和 EGTEA Gaze + 三个基准数据集上取得了最先进的结果，展现在复杂场景中的卓越表现。
发现论文，激发创造
  • 从自我中心视角视频中预测手部动作和交互热点

    本研究提出一种通过 Object-Centric Transformer 模型来预测在 egocentric 视频中未来的手部和物品相互作用的方法，并使用概率框架来处理不确定性。在实验中，我们对 Epic-Kitchens-55、Epic-Kitchens-100 和 EGTEA Gaze+ 数据集进行了测试，并显示 OCT 较现有方法显著优越。

    Apr, 2022

  • HOI4ABOT: 人物物体交互预测人类意图阅读协作机器人

    通过提出一种高效且鲁棒的基于 Transformer 的模型，实现对人机交互中人物 - 物体交互的检测和预测，从而增强机器人的主动协助能力，提高人机协作的效率和直观性。实验证明机器人的预测能力对于更好的人机交互至关重要。

    Sep, 2023

  • 预测人 - 物互动：第一视角视频中运动注意力和动作的联合预测

    本文提出了一种基于未来意图总揽机制的深度学习模型，该模型综合建模并预测了自我中心手部运动、交互热点和未来动作，旨在解决人 - 物互动预测的重要挑战。实验结果表明，所述模型在 EGTEA Gaze+ 和 EPIC-Kitchens 数据集上的行动预测结果优于现有方法。

    Nov, 2019

  • 基于空间交互变换器网络的行人轨迹预测

    本文介绍了一种基于空间交互转化器 (SIT) 的生成方法，该方法通过注意机制学习行人轨迹的时空相关性，并引入条件变分自动编码器 (CVAE) 框架对行人的未来潜在运动状态进行建模。大规模交通数据集 nuScenes 上的实验结果表明，SIT 的性能优于最先进的方法，并在具有挑战性的 ETH 和 UCY 数据集上得到了验证。

    Dec, 2021

  • 基于交互式 Transformer 的端到端环境感知和预测

    本文提出利用新颖 Transformer 架构的 LSTM 循环神经网络去捕捉因交互而产生的时空相关性，来解决自动驾驶场景下的 3D 物体检测及其未来运动轨迹预测，经过实验证明，本方法的准确率及效率均优于同类算法。

    Aug, 2020

  • 基于递进交互的自动驾驶轨迹预测学习

    通过逐步交互网络和权重分配机制提高地图约束条件对代理的特征表示的学习，从而实现准确的行为预测，以优化自动驾驶性能。

    Mar, 2024

  • 基于注意力的社交图变换网络用于随机轨迹预测

    提出了一种关注社交图转换网络的多模态轨迹预测方法，它结合了图卷积网络和 Transformer 网络，并通过生成稳定分辨率的伪图像来处理空时图，还设计了关注社交交互信息的模块。实验证明该模型在多个度量指标上最大限度地降低了位移误差，并显著减少碰撞的可能性，同时具备长时间预测的能力。

    Dec, 2023

  • 基于意图预测的长期人类自我中心行动预测

    利用层次化的结构假设一系列低级别的人类行为可以从人类意图驱动，从而解决长期行动预测的任务，该模型在 EGO4D 挑战中排名第一，代码可在提供的链接中找到。

    Jul, 2022

  • 多人姿势预测的轨迹感知身体交互变换器

    本文提出了一种称之为 TBIFormer 的新型多人姿态预测框架，利用社交身体相互作用自我关注机制和轨迹感知相对位置编码来高效地建模身体部位间的交互影响，实验结果表明，在短时和长时预测上，该方法在 CMU-Mocap、MuPoTS-3D 和合成数据集方面，都显著优于现有的其他方法。

    Mar, 2023

  • 多智能体空间交互的定性预测

    本文介绍并对比三种多机器人交互预测算法，包括使用直观的定性表示，纳入静态和动态上下文，采用输入和时间注意力机制，基于状态 - of-the-art 深度神经网络，利用数据驱动的预测方法和 QTC 空间交互进行运动预测。实验结果表明，纯数据驱动的预测方法通常优于其他两种方法，并进一步评估其泛化能力。

    Jun, 2023