ADDSL:在丹麦手语标注数据上的手势检测与手语识别
本文提出了一个包括 25,000 个有注释视频的美国手语数据集,通过 I3D 架构的应用,实现了对 1000 个手势的无限制语境下的识别。
Dec, 2018
通过使用 YOLOv5 对象识别框架,本研究提出了一种新颖的方法来识别 TSL 手势,为聋哑社区提供准确和成功的手势识别方法。利用迁移学习方法,将 YOLOv5 模型定制为 TSL 手势,经过调参和优化,获得了 90.5% 的 F1 值和 98.1% 的 mAP 值。该研究为可访问技术的未来发展奠定了基础,并提供了对 TSL 手势识别领域的深入洞察和新颖方法。
Apr, 2024
本研究提供了一个新的词级孟加拉手语数据集(BdSL40),包含 611 个单词的 40 个视频,以及两种不同的方法:一种是基于 3D 卷积神经网络模型,另一种是基于图神经网络的方法,用于对 BdSL40 数据集进行分类。该研究还揭示了 BdSL、西孟加拉手语和印度手语之间的显著词汇和语义相似性,以及文献中对 BdSL 缺乏词级数据集的情况。我们发布了数据集和源代码以促进进一步的研究。
Jan, 2024
本文介绍了一种新的大规模多模式土耳其手语数据集 (AUTSL),为性能评估提供了基准模型;使用卷积神经网络提取特征、使用单向和双向 LSTM 模型表征时间信息,以及结合特征池化模块和时间注意力来提高模型性能。在 AUTSL 随机训练和测试集上,模型的表现达到了 95.95% 的准确度,并在提出的用户独立基准数据集上取得了 62.02% 的最佳基线模型效果。
Aug, 2020
该论文研究使用 4 种脉冲神经网络模型对美国手语静态手势进行分类,分别使用 ASL 字母和 ASL 数字的数据集进行相关实验,使用英特尔神经形态平台 Loihi 进行比较。结果表明,相较于英特尔神经计算棒 2,Loihi 实现方式在精度、延迟、功耗和能耗方面均优于英特尔神经计算棒 2。
Jul, 2022
自动手语识别是一个研究领域,包括人机交互、计算机视觉和机器学习。该论文介绍了一个涉及阿根廷手语的数据集,名为 LSA64,旨在构建一个针对阿根廷手语识别或其他机器学习任务的全面研究级数据集的第一步。
Oct, 2023
本文介绍了一种新的方法,基于一个全面的 Bangla 手势词级数据集(BdSLW60),通过在不受约束的自然环境中捕捉手势的动态特性,允许位置和时间上的变化,并允许手势使用者自由更改手势的手的主导性,进而实现手势识别任务。
Feb, 2024
本文介绍了一个新的大规模美国手语单词语义(WLASL)数据集,并实现了基于外观和人体姿态的 2 个模型,以及提出了一种新的基于姿态的时态图卷积网络(Pose-TGCN)方法,同时模拟人体姿态轨迹中的空间和时间依赖关系,为手语识别研究提供了一个有价值的基准实验平台。
Oct, 2019
提出了一种新的自适应模型(AdaBrowse),通过将连续手语识别(CSLR)问题建模成顺序决策任务,动态选择输入视频序列中最具信息量的子序列,并利用时空冗余实现高效计算,对四个大规模 CSLR 数据集进行了广泛的实验,证明了 AdaBrowse 的有效性。
Aug, 2023