May, 2024

多流关键点注意力网络用于手语识别和翻译

PDF
TL;DR提出了一种多流关键点注意网络，用于描述由现有的关键点估计器生成的关键点序列，并通过额外的翻译网络将其扩展为一种手语翻译模型，实现了 Phoenix-2014T 手语翻译任务的最新技术水平。
sign language recognitionkeypoint-based strategymulti-stream keypoint attention networksign language translationstate-of-the-art performance
发现论文，激发创造
  • 基于关键点的手语翻译技术（无须手语词汇）

    该研究提出了一种新的关键点规范化方法和随机帧选择方法，用于改进手语翻译性能，并使用基于注意力机制的翻译模型将手语视频直接翻译成口语。

    Apr, 2022

  • 基于人体关键点估计的神经手语翻译

    提出了一种基于人类关键点估计的手语翻译系统，使用高分辨率的韩国电子技术研究所 (KETI) 手势语言数据集在序列 - 序列架构下训练，证明了我们的方法具有鲁棒性，可以将手势视频翻译成自然语言句子并达到 93.28% 的翻译准确率。

    Nov, 2018

  • 注意力驱动的多模态融合：增强手语识别和翻译

    本文研究了在连续手语识别和翻译中添加多模态信息的机制，通过将光流信息与 RGB 图像结合，丰富了与运动相关的特征。我们使用了一个轻量级的插件，不需要为新的模态包含单独的特征提取器，并在手语识别和翻译任务中应用了这些改变，提高了各自的性能。通过在 RWTH-PHOENIX-2014 数据集上进行评估，我们的方法在手语识别任务中将词错误率降低了 0.9，在翻译任务中，我们的方法在测试集上提高了大多数 BLEU 得分约 0.6。

    Sep, 2023

  • 通过骨架感知多模型合集进行手语识别

    该篇研究论文提出了一种基于骨架动态特征和多模态特征融合的新型骨骼感知多模态框架，以提高手语识别的准确率，并进行了三个 “孤立 SLR 数据集” 的实验验证，并且实现了最先进的 SLR 性能.

    Oct, 2021

  • SignMusketeers：大规模手语翻译的高效多流方法

    基于影像及语言学特性，本研究提出了一种有效且高效的学习手语表示的方法，专注于手势视频中的脸部、手部和身体姿态，并通过自监督学习的方式学习手语中复杂的手形和丰富的面部表情，实现对手语翻译的新突破。

    Jun, 2024

  • 骨架感知多模态手语识别

    提出了一个骨架感知的多模式手语识别框架 (SAM-SLR)，使用多种模态信息来提高识别率，并在 2021 年 Looking at People 大规模独立手语识别挑战赛中获得了最高性能。

    Mar, 2021

  • 面向低资源手语识别的鲁棒手势嵌入提取

    通过对三种受欢迎的姿势估计器进行比较，本文发现通过关键点规范化、遗漏关键点插值和学习姿态嵌入，可以获得更好的结果并实现迁移学习，这些结果可能对未来的低资源手语语言特别有用。

    Jun, 2023

  • 基于视频的手语识别，无需时间分割

    该研究提出了一种用 Hierarchical Attention Network 和 Latent Space 实现连续手语识别的新型框架，该方法无需时间分割预处理、可以缩小语义差距，并在实验中得到了验证。

    Jan, 2018

  • TSPNet: 基于时间语义金字塔的手语翻译分层特征学习

    本文提出了一种基于多种时间粒度的新型手语视频片段表示法，通过时空语义金字塔网络 (TSPNet) 来实现手势识别和特征学习，该方法加强了前沿技术的表现并优化了手语翻译过程。

    Oct, 2020

  • 基于图模型的跨模态信息融合技术在神经手语翻译中的应用

    该研究提出了一种新颖的神经翻译模型，基于动态图和多模态特征融合，结合手语语言学上的语意信息，以解决其它神经模型中可能存在的语意信息缺失问题。实验表明该模型可以在手语翻译方面取得更好的效果。

    Nov, 2022