Sep, 2023

探索手语音系学建模策略

PDF
TL;DR我们学习了图形卷积网络来识别 ASL-LEX 2.0 中的十六种手语音素类型，通过多任务学习和课程学习等学习策略实现了对手语音素更好的建模。在 Sem-Lex 基准测试中，课程学习的平均准确率为 87％，在大多数音素类型中优于微调和多任务策略。
sign languagephonemesgraph convolution networksmulti-task learningcurriculum learning
发现论文，激发创造
  • 利用音韵学提高符号识别效果

    通过将语音学应用于手语产生过程中，训练出的模型预测手势及其语音学特征，从而实现对独立手语识别（ISLR）的模型训练，提高了在 WLASL 基准测试上的手势识别准确性达到了近 9% 的绝对增益，帮助缩小聋听者之间的沟通鸿沟。

    Feb, 2023

  • Sem-Lex 基准测试：对 ASL 手势及其音素模型化

    手语识别和翻译技术有潜力提高聋人手语社区的参与和包容性，但由于缺乏代表性数据，研究进展受到限制。我们引入了美国手语（ASL）建模的新资源，即 Sem-Lex 基准。该基准是目前最大的资源，包含超过 84,000 个由同意并得到补偿的聋人 ASL 手语者的孤立手语视频。我们使用 ASL-LEX 的语言信息进行一系列实验证明了 Sem-Lex 基准在孤立手语识别方面的实用性和公平性。我们使用 SL-GCN 模型显示，语音特征可达到 85% 的准确率，并且作为辅助目标对孤立手语识别有 6% 的准确率提高，整体准确率提高 2%。数据的下载指南可以在此 https URL 找到。

    Sep, 2023

  • 手语中的语音参数分类

    该研究使用姿态估计模型生成多个数据集，并使用这些数据集训练 Fast R-CNN 模型以支持多标签建模。我们证明了在识别手语语音参数时有显着的合作依赖性，为了实现更好的性能，我们在模型中结合了这种合作依赖性。

    May, 2022

  • WLASL-LEX：美国手语音韵属性识别数据集

    本研究介绍了自然语言处理（NLP）领域中较为被忽视的手语处理任务，其中重点关注手语音系学建模的任务。通过构建一个大规模的美国手语数据集并运用 数据驱动的端到端和基于特征的方法，研究表明使用基于骨骼特征提取的基于图的神经网络模型可以在不同程度上自动识别六种不同的手语音系学特性， 哪怕在没有经过训练的手语中也可以进行这种自动识别。

    Mar, 2022

  • 视频中无词典手语识别：数据、模型和手势者自适应

    研究美国手语中指拼字字母的视频序列识别问题，并通过收集和注释新的连续指拼视频数据集，比较多种类型的识别器，探索签名者差异问题。基于深度神经网络的特征，我们的半马尔可夫条件随机场模型在签名者依赖和多签名者情景下均取得较高的字母识别准确率。

    Sep, 2016

  • 基于语言学的手语分割

    手语分段是手语处理系统中至关重要的任务，本文提出了一种新的方法来联合建模个别手势和短语等多种分段任务，并通过语言线索、光流特征和三维手部归一化等手段提高分段质量。

    Oct, 2023

  • 走向现实世界中的美国手语处理：数据、任务和方法

    这篇论文研究了自然环境下手语的自动处理，包括手指拼写、手势识别和手语翻译，并提出了新的数据集、任务和方法。

    Aug, 2023

  • 基于数据驱动的手语表达方式

    将连续动作生成问题转化为离散序列生成问题的创新解决方案，利用矢量量化方法以及转换器，将口语文本翻译为动作序列，并通过签名拼接方法有效地组合标记，实验证明该方法胜过以往方法，使 BLEU-1 回译得分提高了 72%。

    Apr, 2024

  • 基于深度学习的手语识别方法综述

    通过实验评估了基于计算机视觉的手语识别方法，并引入了新的序列训练标准，讨论了许多预训练方案，并创建了带注释的希腊手语 RGB + D 数据集。

    Jul, 2020

  • LSTM 语音模型通过字形对齐和发音学习

    本文介绍了一种基于图音分离的语音识别训练方法，并将其应用于四种印度语言的研究中。实验表明，使用该训练方法训练的模型在大型数据集上具有与基于音素模型相媲美的声学建模效果，并且产生的音频到图音对齐性能优秀，非常适合于实际应用。

    Aug, 2020