ECCVJul, 2022

逆序输入变换器用于参与者行为推理和预测

PDF
TL;DR本文提出了一种新颖的 EF-Transformer 模型，该模型通过对空间和时间域的注意机制，建模参与者之间的关系，从而更好地推断和预测参与者的行为，实验结果表明，相比其他方法，EF-Transformer 在团体活动中的表现更好，能够更好地应对累计误差和错误估计的问题。
group activitiesparticipant behaviormotion pathsef-transformerspatio-temporal relations
发现论文，激发创造
  • 基于 Actor-Transformers 的群体活动识别

    本文提出一种基于 actor-transformer model 认知视频中的个人行为和组群活动的模型，并通过 2D 姿态网络和 3D CNN 等方式提供丰富的个人动态和静态信息表示，从而在公开数据集上取得了显著的效果。

    Mar, 2020

  • 基于交互式 Transformer 的端到端环境感知和预测

    本文提出利用新颖 Transformer 架构的 LSTM 循环神经网络去捕捉因交互而产生的时空相关性，来解决自动驾驶场景下的 3D 物体检测及其未来运动轨迹预测，经过实验证明，本方法的准确率及效率均优于同类算法。

    Aug, 2020

  • 社交转动：可提示的人类轨迹预测

    通过引入 Social-Transmotion，我们介绍了一种利用 transformer 处理多样化和大量视觉线索、捕捉人类行为多模态特性的通用模型，在人类轨迹预测任务中翻译自然语言处理中 prompt 的思想并扩充了轨迹数据，从而实现了增强的人类轨迹预测效果。

    Dec, 2023

  • 变形金刚网络用于轨迹预测

    本文研究了采用 Transformer Networks 进行轨迹预测，提出了简单模型每个人单独建模的方法，发现使用 Transformers 可以处理现实传感器数据中缺失的观测值，并在轨迹预测基准测试上取得了最好的分数。

    Mar, 2020

  • 时间至上：为视频 Transformer 提供时间自监督

    本文提出了一种面向视频任务的基于 Transformer 的模型，通过自监督学习并增加对视频帧之间时间轴的考虑，有效地消除了空间偏差，提升了模型对于时间动态的表征能力并实现了很好的视频分类效果。

    Jul, 2022

  • 交互变换器：人类反应生成

    本研究提出了一种基于交互 Transformer 的新模型，该模型结合了时间和空间的注意力机制，通过使用图形和交互距离模块进一步提高了空间注意力的性能，可用于生成更复杂和长期的交互动作。

    Jul, 2022

  • 用于三维人体运动预测的时空转换器

    本文提出一种新颖的基于 Transformer 的架构，用于生成 3D 人体运动的模型。该模型能够学习高维度骨骼关节的嵌入，通过解耦的时间和空间自注意机制使得生成的姿态在时间上是连贯的。实验结果表明该模型能够准确地生成短期预测并在长期时间跨度内生成合理的运动序列。

    Apr, 2020

  • 双流多级动态点变换器用于两人互动识别

    通过融合局部区域空间信息、外观信息和动作信息，本文提出了一种基于点云的两人交互识别网络。采用一种名为时间间隔帧采样（IFS）的设计帧选择方法，从视频中高效采样帧，捕捉到相对较短的处理时间内更具区分性的信息。然后，通过一个帧特征学习模块和一个两流多级特征聚合模块，从采样帧中提取全局和局部特征，有效地表示与交互相关的局部区域空间信息、外观信息和动作信息。最后，我们应用一种 transformer 对学习到的特征实施自注意力机制进行最终分类。在两个大规模数据集 NTU RGB+D 60 和 NTU RGB+D 120 上进行了大量实验，结果表明我们的网络在所有标准评估设置下优于现有的方法。

    Jul, 2023

  • 多范围变压器的多人三维动作预测

    我们提出了一种适用于多人 3D 运动轨迹预测的新型框架，使用包含局部范围编码器和全局范围编码器的 Multi-Range Transformers 模型，可以实现不同人之间的社交互动，且在长期运动预测方面优于现有方法，甚至可以自动将人分成不同的互动组以预测 15 人的运动轨迹。

    Nov, 2021

  • 3M-TRANSFORMER：用于体现式交替预测的多级多轮多模态 Transformer

    使用基于 Transformer 的新型多模态架构来预测具有多视角的、同步的交互数据中的轮替情况，在已引入的 EgoCom 数据集上进行实验，与现有的基线和替代基于 Transformer 的方法相比，平均性能显著提升了最高达 14.01%。

    Oct, 2023