Dec, 2022

SignNet：利用度量嵌入学习生成单通道符号

PDF
TL;DR本文介绍了一种基于度量嵌入学习的方法，利用相似性（和不相似性）来进行文本到手语的翻译，并说明了如何选择手语的正负例进行相似性测试。在 RWTH PHOENIX-Weather-2014T 基准数据集上的测试中，使用 SignNet 模型取得了比现有技术更好的表现。
sign languagetext-to-sign translationmetric embedding learningdual-learning two task processbleu scores
发现论文，激发创造
  • 手语 Transformer: 端到端手语识别和翻译

    本研究引入了一种新型的基于 Transformer 的架构，通过使用 CTC loss 将连续手语识别和翻译结合在一起，从而实现了端到端的训练。我们的手语翻译器在标准评估数据集 PHOENIX14T 上实现了最先进的手语翻译效果，超越了传统的手语视频到口语 / 手语关键词到口语机器翻译模型。

    Mar, 2020

  • 探索更多指导：一种基于任务感知的指令网络，利用数据增强提高手语翻译

    本研究提出了一种任务感知的指令网络，即 TIN-SLT，用于手语翻译，通过引入指令模块和基于学习的特征融合策略到 Transformer 网络中，从而充分利用预训练模型的语言能力来进一步提高翻译性能。另外，通过探索手语词汇和目标口语的表示空间，我们提出了一种多级数据增强方案来调整训练集的数据分布。我们在两个具有挑战性的基准数据集 PHOENIX-2014-T 和 ASLG-PC12 上进行了大量实验，其中我们的方法在 BLEU-4 方面的表现比以前的最佳解决方案提高了 1.65 和 1.42。

    Apr, 2022

  • TSPNet: 基于时间语义金字塔的手语翻译分层特征学习

    本文提出了一种基于多种时间粒度的新型手语视频片段表示法，通过时空语义金字塔网络 (TSPNet) 来实现手势识别和特征学习，该方法加强了前沿技术的表现并优化了手语翻译过程。

    Oct, 2020

  • 指令视频中的手语翻译

    该研究使用 Transformer 和 I3D 视频特征对 How2Sign 数据集进行训练，并以降低的 BLEU 作为参考指标，获得了 8.03 的 BLEU 得分，提供了第一个开源实现，推进了自动手语翻译技术的发展。

    Apr, 2023

  • 转变表征：探究神经手语语言表征

    本文旨在将自然语言处理技术应用于 Sign Language Production 管道的第一步，介绍了一种基于音素表示而非基于 gloss 表示的 T2H 翻译方法，并使用 HamNoSys 提取标志的手型作为额外的监督来进一步提高性能，最终在两个数据集上均取得了 BLEU-4 得分的最佳表现。

    Sep, 2022

  • 简单的多模态迁移学习基准方法用于手语翻译

    本文提出了一种简单的基于迁移学习的手语翻译模型，通过预训练模型的视觉网络和语言网络来完成迁移学习，进一步提高了手语翻译模型效果。经实验证明，该模型能够显著优于之前的基于手语翻译结果，为今后的手语翻译研究提供了有效的基准。

    Mar, 2022

  • Sign2GPT：利用大型语言模型进行无术语手语翻译

    利用大规模预训练视觉和语言模型通过轻量级适配器实现无语言标注的手语翻译的新型框架 Sign2GPT，在两个公共基准手语翻译数据集上评估并取得明显优于现有技术的无语言标注翻译性能提升。

    May, 2024

  • 无监督手语翻译与生成

    通过无监督的神经机器翻译 (UNMT) 的成功，我们引入了一种无监督的手语翻译和生成网络 (USLNet)，它能够从丰富的单模态（文本和视频）数据中学习，而不需要平行手语数据。USLNet 由两个主要组成部分组成：单模态重构模块（文本和视频），用于从相同模态的噪声版本重建输入；跨模态回译模块（文本 - 视频 - 文本和视频 - 文本 - 视频），其通过回译过程在不同模态下重建输入。与基于文本的 UNMT 中单模态回译过程不同，USLNet 面临着特征表示中的跨模态差异，其中文本和视频序列之间的长度和特征维度不匹配。我们提出了一种滑动窗口方法来解决文本与视频序列对齐的问题。据我们所知，USLNet 是首个能够以统一方式生成自然语言文本和手语视频的无监督手语翻译和生成模型。在 BBC-Oxford 手语数据集（BOBSL）和开放领域美国手语数据集 (OpenASL) 上的实验结果表明，USLNet 与有监督基线模型相比取得了竞争性的结果，表明其在手语翻译和生成方面的有效性。

    Feb, 2024

  • 多通道变形器用于多关节手语翻译

    本文提出了一种新的多通道变压器架构，能够处理多关节手语翻译任务，同时既考虑关节之间的上下文关系，又保持通道特定信息，并证明了其具备在 RWTH-PHOENIX-Weather-2014T 数据集上竞争力的翻译性能，同时消除了对贵重高质量注释数据集的需求。

    Sep, 2020

  • 上下文是否足够？将神经手语翻译推广至广泛话题领域

    从人类翻译的角度出发，我们提出了一种基于多模态变压器架构的上下文感知翻译方法，通过利用上下文信息和自信预测来消除较弱的视觉线索，在最终的变压器解码器中组合来自视频、识别出的手语词汇和前面手语序列的上下文信息，显著提高了本文提出方法在较大规模数据集和公开数据集上的机器翻译性能，近乎翻倍地提高了基线方法的 BLEU-4 分数。

    Aug, 2023