通过使用基于变分自编码器的 Transformer 结构和课程学习策略，我们提出了 SignAvatar 框架，在缺乏真实世界中 3D 手语数据、手语动作复杂微妙性和多模态手语语义交叉理解的情况下具备单词级手语重建和生成的能力。我们贡献的 ASL3DWord 数据集包含了身体、手部和面部的 3D 关节旋转数据，通过大量实验展示了 SignAvatar 在重建和自动生成方面的卓越能力。

May, 2024

通过引入具有普遍适用性的新颖语言学先验，SGNify 可以从现场 SL 视频中全自动捕获手势、面部表情和身体动作，从而在学习 SL 时取代视频字典的 3D avatar 可以提高对技术和在线媒体的获取能力和 AR/VR 应用，并在 SL 视频上优于现有 3D 身体姿势和形状估计方法。

Apr, 2023

提出了一种基于扩散的 SLP 模型，通过在 SMPL-X 身体骨架上定义的新颖解剖学感知图神经网络，从无约束的话语领域生成动态的 3D 动态符号化身序列，通过定量和定性实验证明本方法在 SLP 方面明显优于先前方法。

Dec, 2023

本文旨在开发一种功能性系统，实现将口语翻译成手语的功能，称之为 Spoken2Sign 翻译。我们提出了一个简单的基线，由三个步骤组成：使用现有的 Sign2Spoken 基准创建一个手语视频字典；为字典中的每个手语视频估计一个 3D 手语；借助产生的手语 - 3D 手语字典，训练一个由 Text2Gloss 翻译器、手语连接器和渲染模块组成的 Spoken2Sign 模型。我们是首次将 Spoken2Sign 任务呈现为 3D 手语输出格式，除了能进行 Spoken2Sign 翻译外，我们还证明了我们方法的两个附带产品 ——3D 关键点增强和多视图理解对基于关键点的手语理解的辅助作用。

Jan, 2024

介绍了一个包含 80 多个小时的美国国家手语（ASL）视频及其对应的英文对话、音频和深度信息等多模态和多视角的连续手语数据集 How2Sign，并通过手语者的实验表明利用这个数据集合成的视频能够被理解，同时指出计算机视觉领域需要解决的挑战。

Aug, 2020

本文介绍了两个新的数据集，分别为三维表示和语言学表示，以提高手语识别领域的研究进展。

Jan, 2022

本文提出了一个包括 25,000 个有注释视频的美国手语数据集，通过 I3D 架构的应用，实现了对 1000 个手势的无限制语境下的识别。

Dec, 2018

本研究介绍了 Prompt2Sign，第一个全面的多语种手语数据集，此数据集包括美国手语和其他七种手语。我们还提出了 SignLLM，第一个多语种手语生成模型，包括两种新的多语种手语生成模式。基于该数据集，我们展示了 SignLLM 的基准结果，表明我们的模型在八种手语的手语生成任务中达到了最先进的性能。

May, 2024

本文介绍了一种新的大规模多模式土耳其手语数据集 (AUTSL)，为性能评估提供了基准模型；使用卷积神经网络提取特征、使用单向和双向 LSTM 模型表征时间信息，以及结合特征池化模块和时间注意力来提高模型性能。在 AUTSL 随机训练和测试集上，模型的表现达到了 95.95% 的准确度，并在提出的用户独立基准数据集上取得了 62.02% 的最佳基线模型效果。

Aug, 2020

引入了 SignGAN 来通过运用 Mixture Density Network (MDN) 的 transformer 架构，提出了一个新颖的基于关键点的损失函数，实现了从口语翻译成骨骼姿势，再生成连续的手势语视频。使用 8 个手语翻译者的数据集，证明了该方法在定性和定量上均优于基线方法。

Nov, 2020