Jan, 2024

连接节点：利用时空图神经网络进行准确的孟加拉手语识别

PDF
TL;DR本研究提供了一个新的词级孟加拉手语数据集（BdSL40），包含 611 个单词的 40 个视频，以及两种不同的方法：一种是基于 3D 卷积神经网络模型，另一种是基于图神经网络的方法，用于对 BdSL40 数据集进行分类。该研究还揭示了 BdSL、西孟加拉手语和印度手语之间的显著词汇和语义相似性，以及文献中对 BdSL 缺乏词级数据集的情况。我们发布了数据集和源代码以促进进一步的研究。
deep learningcomputer visionbangla sign languageword-level datasetgraph neural network
发现论文，激发创造
  • BdSLW60: 一个词汇级别的孟加拉手语数据集

    本文介绍了一种新的方法，基于一个全面的 Bangla 手势词级数据集（BdSLW60），通过在不受约束的自然环境中捕捉手势的动态特性，允许位置和时间上的变化，并允许手势使用者自由更改手势的手的主导性，进而实现手势识别任务。

    Feb, 2024

  • 基于图像的印度手语识别：使用深度神经网络的实用综述

    该研究旨在利用计算机视觉技术和卷积神经网络，开发一种实时、基于印度手语的手语识别系统，以帮助印度的聋人和听力有障碍的人群。经过多次处理和训练，该模型的准确率达到了 99%。

    Apr, 2023

  • 基于深度学习的孟加拉标牌地址信息的检测、识别和解析

    通过深度学习模型，我们提出了一个端到端系统来高效地检测、识别、校正和解析孟加拉语标牌上的地址信息，并设计了一种新颖的地址文本校正模型和孟加拉语地址文本解析器。

    Nov, 2023

  • 空间 - 时间图卷积神经网络用于手语识别

    提出了一种基于人类骨骼运动的时空图卷积网络的手语识别方法，使用图来捕捉手语在二维空间和时间上的动态，并提供了一个新的 ASLLVD 人体骨架手语数据集以供未来的相关研究。

    Jan, 2019

  • 基于图模型的跨模态信息融合技术在神经手语翻译中的应用

    该研究提出了一种新颖的神经翻译模型，基于动态图和多模态特征融合，结合手语语言学上的语意信息，以解决其它神经模型中可能存在的语意信息缺失问题。实验表明该模型可以在手语翻译方面取得更好的效果。

    Nov, 2022

  • 基于深度学习的手语识别方法综述

    通过实验评估了基于计算机视觉的手语识别方法，并引入了新的序列训练标准，讨论了许多预训练方案，并创建了带注释的希腊手语 RGB + D 数据集。

    Jul, 2020

  • 视频中基于单词的深度手语识别：一个新的大规模数据集和方法比较

    本文介绍了一个新的大规模美国手语单词语义（WLASL）数据集，并实现了基于外观和人体姿态的 2 个模型，以及提出了一种新的基于姿态的时态图卷积网络（Pose-TGCN）方法，同时模拟人体姿态轨迹中的空间和时间依赖关系，为手语识别研究提供了一个有价值的基准实验平台。

    Oct, 2019

  • 一种基于卷积神经网络的方法，用于识别孟加拉语口语中的数字

    该研究使用多年龄、性别和方言的孟加拉人的音频记录创建了大型的 “0-9” 孟加拉数字口语数据集并使用 Mel 频率倒谱系数和卷积神经网络来识别数字，该方法在整个数据集中达到了 97.1％的准确率并使用 10 倍交叉验证进行了评估，得出 96.7％的准确性。

    Nov, 2021

  • 基于分层时空图神经网络的手语翻译

    该论文提出了一种新颖的用于手语翻译的深度学习体系结构，称为分层时空图神经网络，在高层和细节层次上建模手语，并使用图卷积和图自我注意机制来描述局部和全局信息特性，并在基准数据集上进行了实验验证。

    Nov, 2021

  • 基于视频的手语识别，无需时间分割

    该研究提出了一种用 Hierarchical Attention Network 和 Latent Space 实现连续手语识别的新型框架，该方法无需时间分割预处理、可以缩小语义差距，并在实验中得到了验证。

    Jan, 2018