Oct, 2020

SMA-STN: 分段运动关注的时空网络用于微表情识别

PDF
TL;DR本篇论文提出动态分段稀疏成像模块（DSSI）和分段运动关注空间时间网络（SMA-STN）来处理微表情识别（MER）问题，通过计算局部 - 全局的时空描述符来捕捉微小运动变化，利用空 - 时运动关注模块（STMA）来捕捉面部表情的远程空间关系和加权时间段，实验证明该方法优于其他先进方法，证明该方法是解决复杂的 MER 问题有效的。
micro-expressiondynamic segmentationspatiotemporal networksubtle movement changesfacial expression
发现论文，激发创造
  • SKD-TSTSAN: 基于自知识蒸馏的三流时序偏移注意力网络用于微表情识别

    本研究提出了一种基于自我知识蒸馏的三通道时延注意力网络（SKD-TSTSAN），用于提高微表情识别的性能，并在四个微表情数据集上展开实验，结果表明 SKD-TSTSAN 优于现有方法，并取得新的最优性能。

    Jun, 2024

  • 层次化时空注意力在微表情识别中的应用

    提出了一种基于 Hierarchical Space-Time Attention (HSTA) 的微表情识别方法，通过建立微表情视频帧与特定面部区域之间的联系以及跨模态数据的融合，实现了对微小的面部动作和情感的识别和分析。

    May, 2024

  • 多尺度时空图卷积网络用于面部表情检测

    本文提出了一种用于面部表情识别的多尺度时空图卷积网络 (SpoT-GCN)，通过接受域自适应滑窗策略提取更稳健的动态特征，并通过面部图形表示将微妙的动态特征转换为学习到的时空图模式，并使用提出的面部局部图池化 (FLGP) 从多个尺度的面部图结构中学习局部和全局特征，此外，引入了有监督对比学习来增强模型对难以分类的帧的区分能力。在 SAMM-LV 和 CAS (ME)^2 数据集上的实验结果表明，我们的方法在微表情识别方面达到了最先进的性能，消融研究进一步验证了我们提出的模块的有效性。

    Mar, 2024

  • STM: 时空和动作编码用于动作识别

    本文提出了一个基于 2D 框架的 STM 网络，利用 STM 块替换 ResNet 架构中的残差块，同时编码时空特征和动作特征，实现了高效的视频动作识别。实验证明，提出的方法在数据集 Something-Something v1&v2、Jester、Kinetics-400、UCF-101 和 HMDB-51 上性能优于其他现有方法。

    Aug, 2019

  • 结构分段网络在时间动作检测中的应用

    本文提出了一种基于结构化分割网络 (SSN) 的新型框架，该框架可以通过一个结构化的时间金字塔模型来建模每个动作实例的时间结构，并通过划分的判别模型有效地区分正面提议和背景或不完整的提议，在 THUMOS14 和 ActivityNet 数据集上表现优于现有方法。

    Apr, 2017

  • 基于浅层三重流的三维卷积神经网络（STSTNet）用于微表情识别

    本文介绍了一种名为 STSTNet 的深度神经网络，它从三个光流特征中学习以识别面部微表情，通过实验结果表明，该网络可以提高有效性并获得更高的精度。

    Feb, 2019

  • 面向连续手语识别的时空多线索网络

    本研究提出了一种空时多线索（STMC）网络，采用多线索学习方法解决了视觉序列学习问题，并在三个大规模连续手语识别基准测试上取得了新的最先进表现。

    Feb, 2020

  • 视频中的动作识别时间分段网络

    该论文提出了一种称之为 “时间段网络” 的视频级框架，可以学习视频中的动作模型，并在四个具有挑战性的动作识别基准测试中实现了最新的性能。

    May, 2017

  • StNet：行动识别的局部和全局空时建模

    本文提出了一种新的空时网络（StNet）架构来进行局部和全局的空时建模，通过将 N 个连续的视频帧堆叠成一个超级图像，并对超级图像应用二维卷积来捕获局部空时关系，再对局部空时特征映射应用时间卷积来建模全局空时关系，该方法在动作识别方面优于现有技术，也在模型复杂度和准确度之间取得了理想的平衡，实验结果表明该方法可以广泛应用于视频表示的学习。

    Nov, 2018

  • MSSTNet：用于动态面部表情识别的多尺度时空卷积 - 变换网络

    通过提出多尺度时空 CNN-Transformer 网络（MSSTNet），本研究在人脸动态表情识别领域中取得了最先进的结果，该方法利用多尺度空间和时间信息实现了对面部表情的准确分类。

    Apr, 2024