Sep, 2020

手语识别的分数级多提示融合

PDF
TL;DR通过 3D 卷积神经网络及得分融合方法，我们训练了针对主导手、双手、面部及上半身区域的不同模型，并比较它们的性能表现。实验结果表明，这种混合卷积模型的融合能够比使用完整上半身的基线提高高达 19% 的准确率，并提供有助于未来手语翻译的融合设置讨论。
sign language recognitioncue featuresconvolutional neural networkscore-level fusionupper body gestures
发现论文，激发创造
  • 通过骨架感知多模型合集进行手语识别

    该篇研究论文提出了一种基于骨架动态特征和多模态特征融合的新型骨骼感知多模态框架，以提高手语识别的准确率，并进行了三个 “孤立 SLR 数据集” 的实验验证，并且实现了最先进的 SLR 性能.

    Oct, 2021

  • 基于句子级的手语识别框架

    本文提出了两种解决方案来解决句子级手语识别问题，并通过使用连接主义时间分类（CTC）作为两种模型的分类器层，介绍了 LRCN-based 模型和 Multi-Cue 网络的工作原理。在评估了 RWTH-PHOENIX-Weather 数据集后，作者通过进行超参数搜索，包括特征图数量、输入大小、批量大小、序列长度、LSTM 内存单元、正则化和失活等，获得了 35% 的字词错误率（WER）。

    Nov, 2022

  • 通过骨架图像表示增强巴西手语识别

    通过提取身体、手部和面部关键点并将其编码为 2D 图像，本研究提出了一种孤立手语识别（ISLR）方法，通过卷积神经网络映射视觉和时间信息到手语标签，实验证明该方法在两个广为认可的巴西手语（LIBRAS）数据集上的性能指标超过了现有技术。此外，由于依赖于更简单的网络架构和仅使用 RGB 数据作为输入，本方法更准确、更高效且更易于训练。

    Apr, 2024

  • 用于连续手语识别的全卷积网络

    本文提出了使用全卷积网络 (FCN) 实现在线手语识别的方法，同时从仅具有句子级注释的弱注释视频序列中学习空间和时间特征，通过引入一个手语特征增强 (GFE) 模块来提高序列对齐学习的效果，实验表明该方法在连续手语识别上有效且在在线识别中表现出了较好的性能。

    Jul, 2020

  • 骨架感知多模态手语识别

    提出了一个骨架感知的多模式手语识别框架 (SAM-SLR)，使用多种模态信息来提高识别率，并在 2021 年 Looking at People 大规模独立手语识别挑战赛中获得了最高性能。

    Mar, 2021

  • 基于视频的手语识别，无需时间分割

    该研究提出了一种用 Hierarchical Attention Network 和 Latent Space 实现连续手语识别的新型框架，该方法无需时间分割预处理、可以缩小语义差距，并在实验中得到了验证。

    Jan, 2018

  • 基于 GCN 和 BERT 的姿势型手语识别

    本文提出了一种新颖的姿态识别方法，该方法采用了图卷积网络和 BERT 模型分别捕捉视频中的空间和时间信息，并通过后期融合来识别手势，实验结果在常规数据集上获得了显著的准确率提升。

    Dec, 2020

  • 自然语言辅助手语识别

    该论文提出了一种自然语言辅助手语识别 (NLA-SLR) 框架，利用手语词汇中的语义信息来降低手语识别中存在的视觉相似性 (VISigns) 问题。该论文设计了语言辅助标签平滑和交互式混合等技术来提高识别性能，并引入了视频关键点网络作为新型的骨干网络来获得更好的结果。实验结果表明，该方法在三个广泛采用的基准测试数据集上均达到了最先进的性能。

    Mar, 2023

  • 全局局部增强网络用于 NMFs 感知手语识别

    提出了一种叫做全局 - 局部增强网络（GLE-Net）的有效架构，包括两个相互促进的流，以应对手势识别中手势和非手势特征的影响，同时推出了第一个非手势特征感知的中文手语数据集（NMFs-CSL）。

    Aug, 2020

  • 基于图像的印度手语识别：使用深度神经网络的实用综述

    该研究旨在利用计算机视觉技术和卷积神经网络，开发一种实时、基于印度手语的手语识别系统，以帮助印度的聋人和听力有障碍的人群。经过多次处理和训练，该模型的准确率达到了 99%。

    Apr, 2023