ICCVJun, 2023

面向低资源手语识别的鲁棒手势嵌入提取

PDF
TL;DR通过对三种受欢迎的姿势估计器进行比较，本文发现通过关键点规范化、遗漏关键点插值和学习姿态嵌入，可以获得更好的结果并实现迁移学习，这些结果可能对未来的低资源手语语言特别有用。
isolated sign language recognitionfeature extractorkeypoint-based modelspose estimatorstransfer learning
发现论文，激发创造
  • 通过骨架感知多模型合集进行手语识别

    该篇研究论文提出了一种基于骨架动态特征和多模态特征融合的新型骨骼感知多模态框架，以提高手语识别的准确率，并进行了三个 “孤立 SLR 数据集” 的实验验证，并且实现了最先进的 SLR 性能.

    Oct, 2021

  • PenSLR: 波斯语端到端手语识别使用合奏

    本文介绍了 PenSLR，一种基于手套的手语识别系统，采用惯性测量单元（IMU）和五个柔性传感器，结合深度学习框架以及利用连接主义时序分类（CTC）损失函数，通过多序列比对算法提供的新方法进行集成，优化其在波斯手语上的性能表现，实验结果显示 PenSLR 在单词准确率和句子准确率方面都取得了令人满意的成果。

    Jun, 2024

  • 通过骨架图像表示增强巴西手语识别

    通过提取身体、手部和面部关键点并将其编码为 2D 图像，本研究提出了一种孤立手语识别（ISLR）方法，通过卷积神经网络映射视觉和时间信息到手语标签，实验证明该方法在两个广为认可的巴西手语（LIBRAS）数据集上的性能指标超过了现有技术。此外，由于依赖于更简单的网络架构和仅使用 RGB 数据作为输入，本方法更准确、更高效且更易于训练。

    Apr, 2024

  • 高效精确的手语识别：只需一个优秀的姿态估计库

    该研究利用 SPOTER 架构和 MediaPipe 技术，实现更高效、精准的手语识别，成功创建了首个公开的在线手语翻译应用。

    Sep, 2022

  • 骨架感知多模态手语识别

    提出了一个骨架感知的多模式手语识别框架 (SAM-SLR)，使用多种模态信息来提高识别率，并在 2021 年 Looking at People 大规模独立手语识别挑战赛中获得了最高性能。

    Mar, 2021

  • 多流关键点注意力网络用于手语识别和翻译

    提出了一种多流关键点注意网络，用于描述由现有的关键点估计器生成的关键点序列，并通过额外的翻译网络将其扩展为一种手语翻译模型，实现了 Phoenix-2014T 手语翻译任务的最新技术水平。

    May, 2024

  • 基于 GCN 和 BERT 的姿势型手语识别

    本文提出了一种新颖的姿态识别方法，该方法采用了图卷积网络和 BERT 模型分别捕捉视频中的空间和时间信息，并通过后期融合来识别手势，实验结果在常规数据集上获得了显著的准确率提升。

    Dec, 2020

  • 跨数据集的转移学习在资源有限的数据集中的孤立手语识别

    该研究提供了一个公开的跨数据集转移学习基准，通过两个公开的土耳其手语识别数据集进行评估，使用基于时间图卷积的手语识别方法研究了五种有监督的转移学习方法，实验证明专业的有监督转移学习方法可以在闭集和部分集的数据集转移学习中获得比微调更好的性能。

    Mar, 2024

  • 一种基于 Transformer 的对比学习方法应用于少样本手语识别

    本研究提出了一种新的基于对比学习的变形注意力模型，该模型能够从身体关键点序列中学习丰富的表示，用于手语分类和翻译任务，并通过实验证明其可以推而广之。

    Apr, 2022

  • 不受帧序约束的手语识别：阿根廷手语的概念验证

    该研究探讨了自动手语识别的问题，提出了一种基于概率模型的手语分类方法，通过对具有 64 个类别和 3200 个样本的阿根廷手语数据集进行测试，证实了可以实现不考虑顺序的识别，并取得了 97% 的准确率。

    Oct, 2023