Oct, 2019

视频中基于单词的深度手语识别：一个新的大规模数据集和方法比较

PDF
TL;DR本文介绍了一个新的大规模美国手语单词语义（WLASL）数据集，并实现了基于外观和人体姿态的 2 个模型，以及提出了一种新的基于姿态的时态图卷积网络（Pose-TGCN）方法，同时模拟人体姿态轨迹中的空间和时间依赖关系，为手语识别研究提供了一个有价值的基准实验平台。
sign language recognitionamerican sign languagedeep learningpose-based methodlarge-scale dataset
发现论文，激发创造
  • MS-ASL：用于理解美国手语的大规模数据集和基准

    本文提出了一个包括 25,000 个有注释视频的美国手语数据集，通过 I3D 架构的应用，实现了对 1000 个手势的无限制语境下的识别。

    Dec, 2018

  • SDW-ASL: 生成大规模连续美式手语数据集的动态系统

    提出了一种连续手语数据集生成系统，在发布了包含 30k 个句子、416k 个单词、总计 104 小时的 18k 单词词汇量的最大连续手语数据集时，该系统有助于总体 ASL 处理和特别有助于 ASL 生成。

    Oct, 2022

  • 基于深度学习的手语识别方法综述

    通过实验评估了基于计算机视觉的手语识别方法，并引入了新的序列训练标准，讨论了许多预训练方案，并创建了带注释的希腊手语 RGB + D 数据集。

    Jul, 2020

  • How2Sign: 一个大规模多模态连续美国手语数据集

    介绍了一个包含 80 多个小时的美国国家手语（ASL）视频及其对应的英文对话、音频和深度信息等多模态和多视角的连续手语数据集 How2Sign，并通过手语者的实验表明利用这个数据集合成的视频能够被理解，同时指出计算机视觉领域需要解决的挑战。

    Aug, 2020

  • 基于在线视频学习的开放领域手语翻译

    本文介绍了 OpenASL 数据集，包含超过 200 名大规模美国手语（ASL）- 英语翻译中对手语搜索作为预训练工作的技术和融合口型和手势特征等技术，这些技术相比基线模型产生了一致的显著提高。

    May, 2022

  • 大规模视觉语音识别

    本文提出一个可扩展的开放词汇视觉语音识别方案，通过构建目前最大的视频对话集和一个设计的集成唇读系统，其中包括一个用于映射原始视频到稳定的唇部视频和音素序列的视频处理流水线，一个可扩展的深度神经网络，以将唇部视频映射到音素分布序列，并输出单词序列的生产级语音解码器，该系统以 40.9％的单词错误率成功应用在数据集上，与其他唇读方法相比更具有效性。

    Jul, 2018

  • WLASL-LEX：美国手语音韵属性识别数据集

    本研究介绍了自然语言处理（NLP）领域中较为被忽视的手语处理任务，其中重点关注手语音系学建模的任务。通过构建一个大规模的美国手语数据集并运用 数据驱动的端到端和基于特征的方法，研究表明使用基于骨骼特征提取的基于图的神经网络模型可以在不同程度上自动识别六种不同的手语音系学特性， 哪怕在没有经过训练的手语中也可以进行这种自动识别。

    Mar, 2022

  • BdSLW60: 一个词汇级别的孟加拉手语数据集

    本文介绍了一种新的方法，基于一个全面的 Bangla 手势词级数据集（BdSLW60），通过在不受约束的自然环境中捕捉手势的动态特性，允许位置和时间上的变化，并允许手势使用者自由更改手势的手的主导性，进而实现手势识别任务。

    Feb, 2024

  • ASL Citizen: 一个社区资源数据集，推进独立手势识别

    发布了迄今最大的孤立手语识别数据集 ASL Citizen，该数据集包含 83,912 个视频，由 52 名手语用户在各种环境中拍摄了 2,731 个不同的手势，并提出应将该数据集用于手语字典检索，使用我们数据集训练监督学习分类器在手语字典检索方面极大地提高了性能。

    Apr, 2023

  • AUTSL：一个大规模的多模态土耳其手语数据集和基准方法

    本文介绍了一种新的大规模多模式土耳其手语数据集 (AUTSL)，为性能评估提供了基准模型；使用卷积神经网络提取特征、使用单向和双向 LSTM 模型表征时间信息，以及结合特征池化模块和时间注意力来提高模型性能。在 AUTSL 随机训练和测试集上，模型的表现达到了 95.95% 的准确度，并在提出的用户独立基准数据集上取得了 62.02% 的最佳基线模型效果。

    Aug, 2020