自我强调网络用于连续手语识别

AAAINov, 2022

Self-Emphasizing Network for Continuous Sign Language Recognition

Lianyu Hu, Liqing Gao, Zekang liu, Wei Feng

TL;DR本文提出自我强调网络（SEN）以突出信息区域提高手语和面部表情识别精度，通过轻量级子网络和注意力图动态增强特征，并用时序自我强调模块自适应突显关键帧，以减少计算量和昂贵的监督。基于 PHOENIX14，PHOENIX14-T，CSL-Daily 和 CSL 数据集的比较实验结果表明，SEN 在识别精度上表现优异。

Abstract

Hand and face play an important role in expressing sign language. Their features are usually especially leveraged to improve system performance. However, to effectively extract visual representations and capture trajectories for hands and face, previous methods always come at high comp

sign language self-emphasizing network spatial-temporal features attention maps state-of-the-art accuracy

发现论文，激发创造

SlowFast 网络用于连续手语识别

本研究旨在通过双通道 SlowFast 网络以及特殊的特征融合方法，有效提取连续手语识别中的时空特征，并在多个数据集上展示了该模型在空间和动态表示方面的优势。

Sep, 2023

自监督空间 - 时间一致性的手语识别的表征学习

通过自我监督对比学习框架，从两个不同角度挖掘富含上下文的手势姿势数据的时空一致性，并学习用于手势识别的实例辨别表示，以提高性能。

Jun, 2024

使用相关网络进行连续手语识别

提出一种卷积神经网络 CorrNet 来识别手语，并结合当前帧和相邻帧之间的人体轨迹，从而捕捉视频中人体动作的局部时空特征，进而在大型数据集中获得最先进的准确率。

Mar, 2023

面向连续手语识别的时空多线索网络

本研究提出了一种空时多线索（STMC）网络，采用多线索学习方法解决了视觉序列学习问题，并在三个大规模连续手语识别基准测试上取得了新的最先进表现。

Feb, 2020

通过骨架感知多模型合集进行手语识别

该篇研究论文提出了一种基于骨架动态特征和多模态特征融合的新型骨骼感知多模态框架，以提高手语识别的准确率，并进行了三个 “孤立 SLR 数据集” 的实验验证，并且实现了最先进的 SLR 性能.

Oct, 2021

全局局部增强网络用于 NMFs 感知手语识别

提出了一种叫做全局 - 局部增强网络（GLE-Net）的有效架构，包括两个相互促进的流，以应对手势识别中手势和非手势特征的影响，同时推出了第一个非手势特征感知的中文手语数据集（NMFs-CSL）。

Aug, 2020

基于内间关注的连续手语识别

本研究介绍了在连续手语识别研究中引入的一种新模块，称为 “内 - 间词汇关注模块”，以利用手语视频中词汇内部帧之间的关系，以及词汇之间的语义和语法依赖关系。在实验中，使用 PHOENIX-2014 基准数据集对所提出的模型进行评估，结果表明该方法可以在无先验知识的情况下有效地提取手语特征，改善连续手语识别的准确性，并在测试集上取得 20.4 的字词错误率（WER），这是与使用额外监督的先进技术相比具有竞争力的结果。

Jun, 2024

TCNet: 基于轨迹和相关区域的连续手语识别

提出了 TCNet，一种混合网络模型，有效地从视频中模拟 Trajectories 和 Correlated regions 的时空信息，实现了连续手语识别中长距离的空间交互作用，并在四个大规模数据集上表现出了最先进的性能。

Mar, 2024

基于运动关注机制和帧级自蒸馏的连续手语识别

基于运动注意机制和帧级别自蒸馏的符号语言连续识别模型，能有效地提取视频中的符号语言运动信息，提高连续符号语言识别的准确性并达到最新水平。

Feb, 2024

深度时空外观 - 几何网络用于面部表情识别

本文介绍了一种使用深度学习技术自动提取面部表情识别所需信息特征的方法，通过两个不同的深度学习模型使得我们在 CK + 和 Oulu-CASIA 数据库上，获得了优于其他现有方法的性能表现。

Mar, 2015