Jul, 2023

双流多级动态点变换器用于两人互动识别

PDF
TL;DR通过融合局部区域空间信息、外观信息和动作信息，本文提出了一种基于点云的两人交互识别网络。采用一种名为时间间隔帧采样（IFS）的设计帧选择方法，从视频中高效采样帧，捕捉到相对较短的处理时间内更具区分性的信息。然后，通过一个帧特征学习模块和一个两流多级特征聚合模块，从采样帧中提取全局和局部特征，有效地表示与交互相关的局部区域空间信息、外观信息和动作信息。最后，我们应用一种 transformer 对学习到的特征实施自注意力机制进行最终分类。在两个大规模数据集 NTU RGB+D 60 和 NTU RGB+D 120 上进行了大量实验，结果表明我们的网络在所有标准评估设置下优于现有的方法。
two-person interactionsaction recognitionpoint cloud-based networkframe selection methodtransformer
发现论文，激发创造
  • 基于骨架的人体交互识别的双流混合 CNN-Transformer 网络

    我们提出了一种两流混合 CNN-Transformer 网络（THCT-Net），通过 CNN 和 Transformer 同时建模实体、时间和空间之间的关系，来更好地理解和推断各种动作的意义和上下文。

    Dec, 2023

  • 极低分辨率动作识别的全耦合双流时空网络

    本文提出了一种全耦合的两路时空结构体系框架，可在极低分辨率（如 12x16 像素）视频中可靠地识别人的动作，以保护人们的隐私，同时在训练期间考虑高分辨率视频以建立更好的低分辨率模型，取得了明显的改进。

    Jan, 2018

  • 基于视觉与惯性传感器数据的新型二流决策级融合技术，用于自动多模态人类活动识别系统

    本文提出了一种新颖的多模态人体活动识别系统，并使用了两种流的决策级融合来融合视觉和惯性传感器的信息，通过此方法准确率远高于现有的最先进方法。

    Jun, 2023

  • 针对人类动作识别的姿态条件的时空关注

    通过利用多模态视频数据，并提出使用两种方法来识别人类行为，包括使用卷积模型处理姿势流，由可调节关注机制控制图片流，最后经过 LSTM 神经网络对不同姿态下的处理进行特征提取，能够在多数据集上大幅度的提高人类行为识别的效果。

    Mar, 2017

  • 多范围变压器的多人三维动作预测

    我们提出了一种适用于多人 3D 运动轨迹预测的新型框架，使用包含局部范围编码器和全局范围编码器的 Multi-Range Transformers 模型，可以实现不同人之间的社交互动，且在长期运动预测方面优于现有方法，甚至可以自动将人分成不同的互动组以预测 15 人的运动轨迹。

    Nov, 2021

  • 在线动作和交互定位和预测

    本文提出了一种面向人的在线方法，用于视频中行动和互动的定位和预测。通过使用姿态估计和外观模型结合条件随机场和结构 SVM 方法，该方法可在数帧画面内准确地定位和预测动作和互动。

    Dec, 2016

  • 流动中起舞：双重流行动检测

    本文提出一种基于新层的双流动作检测网络，将 RGB 和光流嵌入到单个双合一流网络中，使用运动条件层从流图像中提取运动信息，然后利用运动调制层生成调制 RGB 特征的变换参数，从而提高检测准确性。

    Apr, 2019

  • 压缩视频动作识别的流蒸馏 IP 双流网络

    该论文提出了一种基于压缩域的双流网络 IP TSN，其中两个流由压缩视频中的两种类型的帧（I 帧和 P 帧）表示，无需独立的时间流，并通过从光流中的广义蒸馏完全利用 P 流的运动信息，极大地提高了效率和精度。该方法在公共视频动作识别基准数据集（UCF101、HMDB51 和 Kinetics 子集）上实验，性能优于其他压缩域方法，同时提高了 20％的总体推理速度。

    Dec, 2019

  • 多人姿势预测的轨迹感知身体交互变换器

    本文提出了一种称之为 TBIFormer 的新型多人姿态预测框架，利用社交身体相互作用自我关注机制和轨迹感知相对位置编码来高效地建模身体部位间的交互影响，实验结果表明，在短时和长时预测上，该方法在 CMU-Mocap、MuPoTS-3D 和合成数据集方面，都显著优于现有的其他方法。

    Mar, 2023

  • 一个针对多人姿态跟踪的双源注意力转换器

    为了解决多人姿势关联问题，提出了一种双源注意力变换器，它包括姿势条件重识别网络、基于时间姿势相似性的边嵌入和基于注意力的匹配层，能够有效应对运动模糊、拥挤场景和遮挡等问题。

    Jun, 2023