Jul, 2022

交互变换器：人类反应生成

PDF
TL;DR本研究提出了一种基于交互 Transformer 的新模型，该模型结合了时间和空间的注意力机制，通过使用图形和交互距离模块进一步提高了空间注意力的性能，可用于生成更复杂和长期的交互动作。
human reaction generationtransformer networktemporal and spatial attentioninteraction distance modulelong-term interactions
发现论文，激发创造
  • 用于三维人体运动预测的时空转换器

    本文提出一种新颖的基于 Transformer 的架构，用于生成 3D 人体运动的模型。该模型能够学习高维度骨骼关节的嵌入，通过解耦的时间和空间自注意机制使得生成的姿态在时间上是连贯的。实验结果表明该模型能够准确地生成短期预测并在长期时间跨度内生成合理的运动序列。

    Apr, 2020

  • 基于交互式 Transformer 的端到端环境感知和预测

    本文提出利用新颖 Transformer 架构的 LSTM 循环神经网络去捕捉因交互而产生的时空相关性，来解决自动驾驶场景下的 3D 物体检测及其未来运动轨迹预测，经过实验证明，本方法的准确率及效率均优于同类算法。

    Aug, 2020

  • ActionFormer：使用 Transformers 定位行为片段

    ActionFormer 是一种基于 Transformer 网络的模型，采用了多尺度特征表示和本地自我注意力机制来识别视频中的动作。它在 THUMOS14 上取得了 71.0％ mAP，在 ActivityNet 1.3 和 EPIC-Kitchens 100 中也表现出色。

    Feb, 2022

  • DirecFormer：一种基于 Transformer 的定向注意力方法用于鲁棒动作识别

    通过引入有序时序学习问题和引入新的有向注意力机制，提出了一个新的基于 Transformer 的框架来解决行为识别问题，并在三个标准大规模基准测试上实现了与最近的行为识别方法相比的最先进的结果。

    Mar, 2022

  • ReGenNet：走向人类行为反应综合

    提出了一种异步、动态、同步和详细的人 - 人互动综合基准方法，利用 ReGenNet 模型和 Transformer 解码器体系结构生成人的反应，结果显示我们的方法可以产生即时且可信的人的反应。

    Mar, 2024

  • UniFormer：用于高效时空表示学习的统一 Transformer

    本研究提出了一种新型的视频分类模型 ——UniFormer，它集成了 3D 卷积和自注意力机制的优点，通过浅层和深层分别学习本地和全局特征，从而在计算量和准确性之间取得了理想的平衡，经实验证明该模型的泛化和针对性能均优于其他方法。

    Jan, 2022

  • 使用具有类别感知鉴别器的基于 GAN 的交互式动作合成模型用于人际交互

    该论文提出了一个半监督 GAN 系统，用于合成一个角色的反应动作，给定来自另一个角色的活动动作。通过使用基于部分的 LSTM 模块和判别器来实现对复杂的时空信息和不同类型交互的监督，证明了该系统的有效性和鉴别性。

    Oct, 2021

  • STAR-Transformer：面向人类动作识别的时空交叉注意力变压器

    提出一种名为 STAR-transformer 的模型，该模型可以有效地表示两个跨模态特征为可识别的矢量，并学习到一种高效的多功能特征表示方法。在动作识别领域中，STAR-transformer 的效果显著优于之前的最先进方法。

    Oct, 2022

  • 无监督骨骼动作学习的全局 - 局部运动转换器

    本论文提出了一种新的 transformer 模型，旨在实现对骨架运动序列的无监督学习。该模型结合了全局和局部注意机制，通过新的预训练策略，成功地学习了局部和全局的内容，并在测试中显示出了优异的性能。

    Jul, 2022

  • 基于 Actor-Transformers 的群体活动识别

    本文提出一种基于 actor-transformer model 认知视频中的个人行为和组群活动的模型，并通过 2D 姿态网络和 3D CNN 等方式提供丰富的个人动态和静态信息表示，从而在公开数据集上取得了显著的效果。

    Mar, 2020