Mar, 2024

TCNet: 基于轨迹和相关区域的连续手语识别

PDF
TL;DR提出了 TCNet，一种混合网络模型，有效地从视频中模拟 Trajectories 和 Correlated regions 的时空信息，实现了连续手语识别中长距离的空间交互作用，并在四个大规模数据集上表现出了最先进的性能。
continuous sign language recognitionspatio-temporal informationtcnettrajectory modulecorrelation module
发现论文，激发创造
  • 使用相关网络进行连续手语识别

    提出一种卷积神经网络 CorrNet 来识别手语，并结合当前帧和相邻帧之间的人体轨迹，从而捕捉视频中人体动作的局部时空特征，进而在大型数据集中获得最先进的准确率。

    Mar, 2023

  • CorrNet+: 空间 - 时间相关性的手语识别和翻译

    本文介绍了一种称为 CorrNet + 的空间 - 时间相关网络，它明确识别多帧中的人体轨迹，为进行手语的深入理解提供全面的视角。作为一个统一模型，CorrNet + 在连续手语识别（CSLR）和手语翻译（SLT）两个广泛的手语理解任务中实现了新的最先进性能，同时减少了一半的计算开销。

    Apr, 2024

  • 面向连续手语识别的时空多线索网络

    本研究提出了一种空时多线索（STMC）网络，采用多线索学习方法解决了视觉序列学习问题，并在三个大规模连续手语识别基准测试上取得了新的最先进表现。

    Feb, 2020

  • 基于内间关注的连续手语识别

    本研究介绍了在连续手语识别研究中引入的一种新模块，称为 “内 - 间词汇关注模块”，以利用手语视频中词汇内部帧之间的关系，以及词汇之间的语义和语法依赖关系。在实验中，使用 PHOENIX-2014 基准数据集对所提出的模型进行评估，结果表明该方法可以在无先验知识的情况下有效地提取手语特征，改善连续手语识别的准确性，并在测试集上取得 20.4 的字词错误率（WER），这是与使用额外监督的先进技术相比具有竞争力的结果。

    Jun, 2024

  • SlowFast 网络用于连续手语识别

    本研究旨在通过双通道 SlowFast 网络以及特殊的特征融合方法，有效提取连续手语识别中的时空特征，并在多个数据集上展示了该模型在空间和动态表示方面的优势。

    Sep, 2023

  • 用于连续手语识别的全卷积网络

    本文提出了使用全卷积网络 (FCN) 实现在线手语识别的方法，同时从仅具有句子级注释的弱注释视频序列中学习空间和时间特征，通过引入一个手语特征增强 (GFE) 模块来提高序列对齐学习的效果，实验表明该方法在连续手语识别上有效且在在线识别中表现出了较好的性能。

    Jul, 2020

  • 基于句子级的手语识别框架

    本文提出了两种解决方案来解决句子级手语识别问题，并通过使用连接主义时间分类（CTC）作为两种模型的分类器层，介绍了 LRCN-based 模型和 Multi-Cue 网络的工作原理。在评估了 RWTH-PHOENIX-Weather 数据集后，作者通过进行超参数搜索，包括特征图数量、输入大小、批量大小、序列长度、LSTM 内存单元、正则化和失活等，获得了 35% 的字词错误率（WER）。

    Nov, 2022

  • SF-Net: 面向连续手语识别的结构化特征网络

    本文提出了 Structured Feature Network（SF-Net）来解决连续手语识别中词汇量丰富、对齐困难等挑战，该模型将信息逐步编码到帧、词和句三个层次的特征表示中，并且可以在无需其他模型或预训练的情况下进行端到端训练。实验结果表明，该模型在两个大规模的手语识别数据集上的表现明显优于先前的基于序列级监督的方法。

    Aug, 2019

  • 利用跨语言手势改进连续手语识别

    该研究旨在通过利用多语种手语语料库来促进单一语种的连续手语识别，通过识别跨语种手语并将其作为辅助训练数据，从而提高其识别能力。实验结果表明，该方法在两个广泛使用的连续手语识别数据集上取得了最先进的性能。

    Aug, 2023

  • 手语 Transformer: 端到端手语识别和翻译

    本研究引入了一种新型的基于 Transformer 的架构，通过使用 CTC loss 将连续手语识别和翻译结合在一起，从而实现了端到端的训练。我们的手语翻译器在标准评估数据集 PHOENIX14T 上实现了最先进的手语翻译效果，超越了传统的手语视频到口语 / 手语关键词到口语机器翻译模型。

    Mar, 2020