May, 2022

手语中的语音参数分类

PDF
TL;DR该研究使用姿态估计模型生成多个数据集，并使用这些数据集训练 Fast R-CNN 模型以支持多标签建模。我们证明了在识别手语语音参数时有显着的合作依赖性，为了实现更好的性能，我们在模型中结合了这种合作依赖性。
发现论文，激发创造
  • 探索手语音系学建模策略

    我们学习了图形卷积网络来识别 ASL-LEX 2.0 中的十六种手语音素类型，通过多任务学习和课程学习等学习策略实现了对手语音素更好的建模。在 Sem-Lex 基准测试中，课程学习的平均准确率为 87％，在大多数音素类型中优于微调和多任务策略。

    Sep, 2023

  • 利用音韵学提高符号识别效果

    通过将语音学应用于手语产生过程中，训练出的模型预测手势及其语音学特征，从而实现对独立手语识别（ISLR）的模型训练，提高了在 WLASL 基准测试上的手势识别准确性达到了近 9% 的绝对增益，帮助缩小聋听者之间的沟通鸿沟。

    Feb, 2023

  • 基于语言学的手语分割

    手语分段是手语处理系统中至关重要的任务，本文提出了一种新的方法来联合建模个别手势和短语等多种分段任务，并通过语言线索、光流特征和三维手部归一化等手段提高分段质量。

    Oct, 2023

  • 基于数据驱动的手语表达方式

    将连续动作生成问题转化为离散序列生成问题的创新解决方案，利用矢量量化方法以及转换器，将口语文本翻译为动作序列，并通过签名拼接方法有效地组合标记，实验证明该方法胜过以往方法，使 BLEU-1 回译得分提高了 72%。

    Apr, 2024

  • 自然语言辅助手语识别

    该论文提出了一种自然语言辅助手语识别 (NLA-SLR) 框架，利用手语词汇中的语义信息来降低手语识别中存在的视觉相似性 (VISigns) 问题。该论文设计了语言辅助标签平滑和交互式混合等技术来提高识别性能，并引入了视频关键点网络作为新型的骨干网络来获得更好的结果。实验结果表明，该方法在三个广泛采用的基准测试数据集上均达到了最先进的性能。

    Mar, 2023

  • WLASL-LEX：美国手语音韵属性识别数据集

    本研究介绍了自然语言处理（NLP）领域中较为被忽视的手语处理任务，其中重点关注手语音系学建模的任务。通过构建一个大规模的美国手语数据集并运用 数据驱动的端到端和基于特征的方法，研究表明使用基于骨骼特征提取的基于图的神经网络模型可以在不同程度上自动识别六种不同的手语音系学特性， 哪怕在没有经过训练的手语中也可以进行这种自动识别。

    Mar, 2022

  • ASL-Skeleton3D 和 ASL-Phono：美式手语两个新数据集

    本文介绍了两个新的数据集，分别为三维表示和语言学表示，以提高手语识别领域的研究进展。

    Jan, 2022

  • 走向现实世界中的美国手语处理：数据、任务和方法

    这篇论文研究了自然环境下手语的自动处理，包括手指拼写、手势识别和手语翻译，并提出了新的数据集、任务和方法。

    Aug, 2023

  • 不受帧序约束的手语识别：阿根廷手语的概念验证

    该研究探讨了自动手语识别的问题，提出了一种基于概率模型的手语分类方法，通过对具有 64 个类别和 3200 个样本的阿根廷手语数据集进行测试，证实了可以实现不考虑顺序的识别，并取得了 97% 的准确率。

    Oct, 2023

  • 混合 SIGN 信号：通过运动基元的混合来产生手语

    通过分解动作、建立表示形式并采用深度学习方法，我们提出了一种用于手语制作的新型混合动作基元架构，以及一种将从口语到手语的翻译过程拆分为独立子任务并进行联合训练的方法，实现了在较小的语料库中从语音到手语的翻译，这是第一次展示了一个完整的从口语到手语的翻译流水线相较于从原始手语表现形式到手语的翻译较好的性能。

    Jul, 2021