AAAIOct, 2021

OpenHands：使用基于姿态的预训练模型使跨语言手语识别变得易于使用

PDF
TL;DR本文介绍了 OpenHands 库，将 NLP 中四个关键点应用于手语识别中，包括姿势提取，训练基于姿势的孤立手语识别模型，自我监督预训练和跨语言迁移，并在 6 种不同的手语中标准化姿势数据集和预训练数据集。
sign languagespose extractionlow-resource languagesself-supervised pretrainingcrosslingual transfer
发现论文，激发创造
  • SignBERT+: 手部模型感知的自监督预训练方法，用于手语理解

    本研究提出一种自监督预训练 SignBERT+ 框架，该框架采用模型可感知的手部先验，并将手势编码为可视令牌，以更好地捕捉序列上的层次性上下文，并在三个主要 SLU 任务上实现了具有显着性能增益的最新性能。

    May, 2023

  • SignBERT: 手势感知表示的手部模型预训练用于手语识别

    本研究介绍了第一个可自我训练的可预训练 SignBERT，利用深度学习对手势姿态进行识别，同时采用先验手势信息进行数据训练以获得 SLR 任务的最佳实践。

    Oct, 2021

  • 基于在线视频学习的开放领域手语翻译

    本文介绍了 OpenASL 数据集，包含超过 200 名大规模美国手语（ASL）- 英语翻译中对手语搜索作为预训练工作的技术和融合口型和手势特征等技术，这些技术相比基线模型产生了一致的显著提高。

    May, 2022

  • 基于图像的印度手语识别：使用深度神经网络的实用综述

    该研究旨在利用计算机视觉技术和卷积神经网络，开发一种实时、基于印度手语的手语识别系统，以帮助印度的聋人和听力有障碍的人群。经过多次处理和训练，该模型的准确率达到了 99%。

    Apr, 2023

  • 使用 Mediapipe Holistic 的印度手语识别

    通过使用卷积神经网络和 LSTM 模型进行手势和静态手语识别，研究开发了一种印度手语转换为文本或语音的文本 - 手语翻译模型，可以帮助聋人和听障人士在社交、教育和职业场境中进行更准确的交流。

    Apr, 2023

  • 高效精确的手语识别：只需一个优秀的姿态估计库

    该研究利用 SPOTER 架构和 MediaPipe 技术，实现更高效、精准的手语识别，成功创建了首个公开的在线手语翻译应用。

    Sep, 2022

  • MS-ASL：用于理解美国手语的大规模数据集和基准

    本文提出了一个包括 25,000 个有注释视频的美国手语数据集，通过 I3D 架构的应用，实现了对 1000 个手势的无限制语境下的识别。

    Dec, 2018

  • 走向现实世界中的美国手语处理：数据、任务和方法

    这篇论文研究了自然环境下手语的自动处理，包括手指拼写、手势识别和手语翻译，并提出了新的数据集、任务和方法。

    Aug, 2023

  • SignMusketeers：大规模手语翻译的高效多流方法

    基于影像及语言学特性，本研究提出了一种有效且高效的学习手语表示的方法，专注于手势视频中的脸部、手部和身体姿态，并通过自监督学习的方式学习手语中复杂的手形和丰富的面部表情，实现对手语翻译的新突破。

    Jun, 2024

  • 跨数据集的转移学习在资源有限的数据集中的孤立手语识别

    该研究提供了一个公开的跨数据集转移学习基准，通过两个公开的土耳其手语识别数据集进行评估，使用基于时间图卷积的手语识别方法研究了五种有监督的转移学习方法，实验证明专业的有监督转移学习方法可以在闭集和部分集的数据集转移学习中获得比微调更好的性能。

    Mar, 2024