ICCVOct, 2021

SignBERT: 手势感知表示的手部模型预训练用于手语识别

PDF
TL;DR本研究介绍了第一个可自我训练的可预训练 SignBERT，利用深度学习对手势姿态进行识别，同时采用先验手势信息进行数据训练以获得 SLR 任务的最佳实践。
sign language recognitiondeep learningself-supervised learninghand posepre-training
发现论文，激发创造
  • SignBERT+: 手部模型感知的自监督预训练方法，用于手语理解

    本研究提出一种自监督预训练 SignBERT+ 框架，该框架采用模型可感知的手部先验，并将手势编码为可视令牌，以更好地捕捉序列上的层次性上下文，并在三个主要 SLU 任务上实现了具有显着性能增益的最新性能。

    May, 2023

  • 使用耦合记号化的 BERT 预训练进行手语识别

    利用 BERT 预训练技术和领域特定的统计信息，通过 Pose Triplet Units 训练 SLR 模型，并在四个基准测试中实现了新的最优性能。

    Feb, 2023

  • 基于 GCN 和 BERT 的姿势型手语识别

    本文提出了一种新颖的姿态识别方法，该方法采用了图卷积网络和 BERT 模型分别捕捉视频中的空间和时间信息，并通过后期融合来识别手势，实验结果在常规数据集上获得了显著的准确率提升。

    Dec, 2020

  • OpenHands：使用基于姿态的预训练模型使跨语言手语识别变得易于使用

    本文介绍了 OpenHands 库，将 NLP 中四个关键点应用于手语识别中，包括姿势提取，训练基于姿势的孤立手语识别模型，自我监督预训练和跨语言迁移，并在 6 种不同的手语中标准化姿势数据集和预训练数据集。

    Oct, 2021

  • 自监督视频 Transformer 用于孤立手语识别

    对孤立手语识别（ISLR）进行了自监督学习方法的深入分析，研究了四种最新的基于 Transformer 的方法和四种预训练数据方案在 WLASL2000 数据集上的组合，发现 MaskFeat 在基于手语的 WLASL2000 数据集上表现优越，准确率达到 79.02％。通过对多样的语音学特征进行线性探测，证明了这些模型产生 ASL 手势表示的能力，强调了架构和预训练任务选择在 ISLR 中的重要性。特别是在 WLASL2000 数据集上，掩码重构预训练的强大性能以及层次视觉 Transformer 在手语表示中的重要性得到了验证。

    Sep, 2023

  • 通过骨架感知多模型合集进行手语识别

    该篇研究论文提出了一种基于骨架动态特征和多模态特征融合的新型骨骼感知多模态框架，以提高手语识别的准确率，并进行了三个 “孤立 SLR 数据集” 的实验验证，并且实现了最先进的 SLR 性能.

    Oct, 2021

  • 通过骨架图像表示增强巴西手语识别

    通过提取身体、手部和面部关键点并将其编码为 2D 图像，本研究提出了一种孤立手语识别（ISLR）方法，通过卷积神经网络映射视觉和时间信息到手语标签，实验证明该方法在两个广为认可的巴西手语（LIBRAS）数据集上的性能指标超过了现有技术。此外，由于依赖于更简单的网络架构和仅使用 RGB 数据作为输入，本方法更准确、更高效且更易于训练。

    Apr, 2024

  • 全局局部增强网络用于 NMFs 感知手语识别

    提出了一种叫做全局 - 局部增强网络（GLE-Net）的有效架构，包括两个相互促进的流，以应对手势识别中手势和非手势特征的影响，同时推出了第一个非手势特征感知的中文手语数据集（NMFs-CSL）。

    Aug, 2020

  • 面向低资源手语识别的鲁棒手势嵌入提取

    通过对三种受欢迎的姿势估计器进行比较，本文发现通过关键点规范化、遗漏关键点插值和学习姿态嵌入，可以获得更好的结果并实现迁移学习，这些结果可能对未来的低资源手语语言特别有用。

    Jun, 2023

  • MASA: 带有语义对齐的运动感知遮挡自编码器用于手语识别

    提出了一种结合丰富的动作线索和全局语义信息的运动感知遮蔽自编码器（MASA）框架，通过自我监督学习范式实现对手语的全面表示，实现了在四个公共基准测试上的最先进性能。

    May, 2024