May, 2024

SignLLM：手语制作大型语言模型

PDF
TL;DR本研究介绍了 Prompt2Sign，第一个全面的多语种手语数据集，此数据集包括美国手语和其他七种手语。我们还提出了 SignLLM，第一个多语种手语生成模型，包括两种新的多语种手语生成模式。基于该数据集，我们展示了 SignLLM 的基准结果，表明我们的模型在八种手语的手语生成任务中达到了最先进的性能。
multilingual sign language datasetprompt2signsignllmmultilingual slp modesstate-of-the-art performance
发现论文，激发创造
  • SignDiff: 学习美国手语表达的扩散模型

    该研究论文介绍了一个基于深度学习的大规模美国手语（ASL）生成预训练模型，以解决对 ASL 依赖的残障人士之间的沟通障碍，并提出了用于 ASL 生成的基于条件扩散的预训练模型，同时改进了模型的准确性和质量，以及图像指标的优化。

    Aug, 2023

  • MS-ASL：用于理解美国手语的大规模数据集和基准

    本文提出了一个包括 25,000 个有注释视频的美国手语数据集，通过 I3D 架构的应用，实现了对 1000 个手势的无限制语境下的识别。

    Dec, 2018

  • LLMs 是优秀的手语翻译器

    使用大型语言模型训练手语翻译任务，提出了 SignLLM 框架，将手语视频转换为类似语言的表示，通过两个关键模块进行转换，同时采用标记对齐损失来增强语义兼容性，在两个广泛使用的手语翻译基准测试中取得了最先进的无注释结果。

    Apr, 2024

  • 使用隐藏动态变换器进行手语产生

    经过改进，我们开发了一种新方法来制作高质量的手语视频，不需要使用人类姿势作为中间步骤。与之前的方法相比，我们的模型在两个手语数据集上表现更好。

    Dec, 2023

  • How2Sign: 一个大规模多模态连续美国手语数据集

    介绍了一个包含 80 多个小时的美国国家手语（ASL）视频及其对应的英文对话、音频和深度信息等多模态和多视角的连续手语数据集 How2Sign，并通过手语者的实验表明利用这个数据集合成的视频能够被理解，同时指出计算机视觉领域需要解决的挑战。

    Aug, 2020

  • AUTSL：一个大规模的多模态土耳其手语数据集和基准方法

    本文介绍了一种新的大规模多模式土耳其手语数据集 (AUTSL)，为性能评估提供了基准模型；使用卷积神经网络提取特征、使用单向和双向 LSTM 模型表征时间信息，以及结合特征池化模块和时间注意力来提高模型性能。在 AUTSL 随机训练和测试集上，模型的表现达到了 95.95% 的准确度，并在提出的用户独立基准数据集上取得了 62.02% 的最佳基线模型效果。

    Aug, 2020

  • 混合 SIGN 信号：通过运动基元的混合来产生手语

    通过分解动作、建立表示形式并采用深度学习方法，我们提出了一种用于手语制作的新型混合动作基元架构，以及一种将从口语到手语的翻译过程拆分为独立子任务并进行联合训练的方法，实现了在较小的语料库中从语音到手语的翻译，这是第一次展示了一个完整的从口语到手语的翻译流水线相较于从原始手语表现形式到手语的翻译较好的性能。

    Jul, 2021

  • 转变表征：探究神经手语语言表征

    本文旨在将自然语言处理技术应用于 Sign Language Production 管道的第一步，介绍了一种基于音素表示而非基于 gloss 表示的 T2H 翻译方法，并使用 HamNoSys 提取标志的手型作为额外的监督来进一步提高性能，最终在两个数据集上均取得了 BLEU-4 得分的最佳表现。

    Sep, 2022

  • 指令视频中的手语翻译

    该研究使用 Transformer 和 I3D 视频特征对 How2Sign 数据集进行训练，并以降低的 BLEU 作为参考指标，获得了 8.03 的 BLEU 得分，提供了第一个开源实现，推进了自动手语翻译技术的发展。

    Apr, 2023

  • SDW-ASL: 生成大规模连续美式手语数据集的动态系统

    提出了一种连续手语数据集生成系统，在发布了包含 30k 个句子、416k 个单词、总计 104 小时的 18k 单词词汇量的最大连续手语数据集时，该系统有助于总体 ASL 处理和特别有助于 ASL 生成。

    Oct, 2022