手语制作所需一切
本篇论文呼吁自然语言处理 (NLP) 社群将手语作为高社会和科学影响力的研究领域之一,评估了手语的语言学特征,并探讨了如何扩展 NLP 到手语,并建议采用有效的标记方法、开发基于语言学的模型、收集真实世界的手语数据、将当地的手语社区作为研究方向的积极和领导性声音。
May, 2021
该研究论文介绍了一个基于深度学习的大规模美国手语(ASL)生成预训练模型,以解决对 ASL 依赖的残障人士之间的沟通障碍,并提出了用于 ASL 生成的基于条件扩散的预训练模型,同时改进了模型的准确性和质量,以及图像指标的优化。
Aug, 2023
该研究旨在利用计算机视觉技术和卷积神经网络,开发一种实时、基于印度手语的手语识别系统,以帮助印度的聋人和听力有障碍的人群。经过多次处理和训练,该模型的准确率达到了 99%。
Apr, 2023
将连续动作生成问题转化为离散序列生成问题的创新解决方案,利用矢量量化方法以及转换器,将口语文本翻译为动作序列,并通过签名拼接方法有效地组合标记,实验证明该方法胜过以往方法,使 BLEU-1 回译得分提高了 72%。
Apr, 2024
开发一种基于人工智能的成本效益高、资源高效和开放的技术,旨在帮助人们学习和使用手语进行交流,以促进社会的包容性。该研究分析了基于人工智能的手语解决方案,特别聚焦美国手语,取得了令人满意的初步结果,并为进一步发展奠定了基础。
Feb, 2024
引入了 SignGAN 来通过运用 Mixture Density Network (MDN) 的 transformer 架构,提出了一个新颖的基于关键点的损失函数,实现了从口语翻译成骨骼姿势,再生成连续的手势语视频。使用 8 个手语翻译者的数据集,证明了该方法在定性和定量上均优于基线方法。
Nov, 2020
这篇文章提出了一种使用渐进式变换器实现手语自动翻译的方法,解决了现有深度学习方法无法表现手语连续性和完整形态的问题,采用数据增强技术和混合密度网络模型,提高了手语模拟的真实性和表达力,并在 PHOENIX14T 数据集上进行了基准测试和用户评估。
Mar, 2021