多层特征交互融合的组合式活动识别

Dec, 2020

多层特征交互融合的组合式活动识别

Interactive Fusion of Multi-level Features for Compositional Activity Recognition

Rui Yan, Lingxi Xie, Xiangbo Shu, Jinhui Tang

TL;DR本文提出了一种新颖的框架，通过交互式融合，即将不同空间的特征进行投影并使用辅助预测任务进行引导，实现了语义信息、位置信息和外貌信息的融合，从而实现了复杂动作的识别，并在两个数据集上进行了验证，取得了比通用识别算法更好的结果。

Abstract

To understand a complex action, multiple sources of information, including appearance, positional, and semantic features, need to be integrated. However, these features are difficult to be fused since they often differ significantly in modality and dimensionality. In this paper, we pre

action recognition feature fusion interactive fusion prediction semantic features

发现论文，激发创造

空间时态交互网络的组合动作识别

本文提出一种新颖的机器学习模型，通过对主体 - 对象交互的动态学习来探究行为的组成性。该模型能够精确推理组成对象的几何关系和动作代理之间的关系，具有较好的应用前景。在使用 Something-Something 数据集进行训练时，我们提出了一种新的组合性行为识别任务，成功验证了该模型的有效性。

Dec, 2019

重新审视时空布局以进行组合行为识别

本文研究了基于物体的方法解决动作识别问题，提出了一种基于多头注意力的配置分析方法，证明将布局信息与外观信息相结合可以提高方法的识别准确率。

Nov, 2021

SAFCAR：用于组合动作识别的结构化注意力融合

提出了一个基于结构化关注融合自注意机制的通用框架，以有效识别由 simpler components 组成的动作标签。该方法在 Something-Something-V2 数据集上表现突出且具有良好的泛化性能。

Dec, 2020

粗细深度特征融合和异步融合的行为识别

本文提出了一种用于动作识别的新型基于深度学习的框架，采用精确特征提取和信息流异步融合技术来提高识别精度，并在行动识别基准测试中取得最先进的性能。

Nov, 2017

建模空间 - 时间交互以进行组合动作识别

该研究提出组合动作识别的方法，并使用时空交互编码器捕捉人体 - 物体之间的交互作用并将其与视频信息相结合。该方法在多个数据集上获得了先进的性能，表明显式地对人体 - 物体之间的交互行为建模是有效的。

May, 2023

利用惯性传感器的多域多模态融合人体动作识别

本文提出了一个多域多模态融合框架，利用卷积神经网络和规范相关融合来提取不同域的特征以识别多重动作，并将输入惯性数据转换为信号图像进行处理，并在三个惯性数据集上得到了比现有文献更准确的结果。

Aug, 2020

姿态和关节感知动作识别

本文提出了一种基于关节的动作识别模型，使用共享的运动编码器从每个关节分别提取运动特征，再通过联合推理的方式进行识别，同时引入了选定更具判别性关节的加权计算机制，关节对比损失技巧，以及基于几何感知的数据增强技术等方法，经实验证明，在 JHMDB，HMDB，Charades，AVA 动作识别数据集上，以及 Mimetics 数据集上，相对于当前最先进的基于关节行动识别方法有大幅度提升。同时与 RGB 和基于光流的方法进行了融合处理，以进一步提高性能。

Oct, 2020

AdaFuse: 自适应时间融合网络用于高效运动识别

本文介绍了一种自适应的时间融合网络，称为 AdaFuse，用于视频动作识别的临时建模，其对历史卷积特征图的必要信息与当前修剪特征图进行融合，以提高识别准确性和效率。

Feb, 2021

多交互特征学习和全时多模态图像融合与分割基准

提出了一种用于图像融合和分割的多交互特征学习架构，名为 SegMiF，利用双任务相关性促进两个任务的性能表现。

Aug, 2023

IntegralAction: 基于姿态驱动的特征集成，实现视频中人类行为的稳健识别

该研究提出了一种动作识别方法，通过动态组合外貌信息和姿势信息，实现在情境内外的动作视频数据集上高度鲁棒的性能表现。

Jul, 2020