May, 2023

SignBERT+: 手部模型感知的自监督预训练方法，用于手语理解

PDF
TL;DR本研究提出一种自监督预训练 SignBERT+ 框架，该框架采用模型可感知的手部先验，并将手势编码为可视令牌，以更好地捕捉序列上的层次性上下文，并在三个主要 SLU 任务上实现了具有显着性能增益的最新性能。
sign language understandingself-supervised learningdeep learninggesture recognitionpre-training
发现论文，激发创造
  • SignBERT: 手势感知表示的手部模型预训练用于手语识别

    本研究介绍了第一个可自我训练的可预训练 SignBERT，利用深度学习对手势姿态进行识别，同时采用先验手势信息进行数据训练以获得 SLR 任务的最佳实践。

    Oct, 2021

  • 使用耦合记号化的 BERT 预训练进行手语识别

    利用 BERT 预训练技术和领域特定的统计信息，通过 Pose Triplet Units 训练 SLR 模型，并在四个基准测试中实现了新的最优性能。

    Feb, 2023

  • OpenHands：使用基于姿态的预训练模型使跨语言手语识别变得易于使用

    本文介绍了 OpenHands 库，将 NLP 中四个关键点应用于手语识别中，包括姿势提取，训练基于姿势的孤立手语识别模型，自我监督预训练和跨语言迁移，并在 6 种不同的手语中标准化姿势数据集和预训练数据集。

    Oct, 2021

  • SignMusketeers：大规模手语翻译的高效多流方法

    基于影像及语言学特性，本研究提出了一种有效且高效的学习手语表示的方法，专注于手势视频中的脸部、手部和身体姿态，并通过自监督学习的方式学习手语中复杂的手形和丰富的面部表情，实现对手语翻译的新突破。

    Jun, 2024

  • 自监督视频 Transformer 用于孤立手语识别

    对孤立手语识别（ISLR）进行了自监督学习方法的深入分析，研究了四种最新的基于 Transformer 的方法和四种预训练数据方案在 WLASL2000 数据集上的组合，发现 MaskFeat 在基于手语的 WLASL2000 数据集上表现优越，准确率达到 79.02％。通过对多样的语音学特征进行线性探测，证明了这些模型产生 ASL 手势表示的能力，强调了架构和预训练任务选择在 ISLR 中的重要性。特别是在 WLASL2000 数据集上，掩码重构预训练的强大性能以及层次视觉 Transformer 在手语表示中的重要性得到了验证。

    Sep, 2023

  • 基于 GCN 和 BERT 的姿势型手语识别

    本文提出了一种新颖的姿态识别方法，该方法采用了图卷积网络和 BERT 模型分别捕捉视频中的空间和时间信息，并通过后期融合来识别手势，实验结果在常规数据集上获得了显著的准确率提升。

    Dec, 2020

  • MASA: 带有语义对齐的运动感知遮挡自编码器用于手语识别

    提出了一种结合丰富的动作线索和全局语义信息的运动感知遮蔽自编码器（MASA）框架，通过自我监督学习范式实现对手语的全面表示，实现了在四个公共基准测试上的最先进性能。

    May, 2024

  • 通过骨架感知多模型合集进行手语识别

    该篇研究论文提出了一种基于骨架动态特征和多模态特征融合的新型骨骼感知多模态框架，以提高手语识别的准确率，并进行了三个 “孤立 SLR 数据集” 的实验验证，并且实现了最先进的 SLR 性能.

    Oct, 2021

  • 手语识别的分数级多提示融合

    通过 3D 卷积神经网络及得分融合方法，我们训练了针对主导手、双手、面部及上半身区域的不同模型，并比较它们的性能表现。实验结果表明，这种混合卷积模型的融合能够比使用完整上半身的基线提高高达 19% 的准确率，并提供有助于未来手语翻译的融合设置讨论。

    Sep, 2020

  • 朝着规模化的注重隐私的手语翻译

    通过两阶段的框架提出了 SSVP-SLT，该框架应对了缺乏对齐字幕的手语数据的问题，并解决了基于大规模网络抓取的数据集存在的隐私风险，通过自监督视频预训练和面部模糊化来提高 SLT 性能和保护隐私。

    Feb, 2024