CVPRMay, 2021

使用手语回译的单语数据提高手语翻译

PDF
TL;DR本研究提出了一种标志性的回译（SignBT）方法，利用大规模口语文本来协助手语翻译（SLT）的训练。此外，我们还发布了一个大规模的连续 SLT 数据集 CSL-Daily，提供口语翻译和注释。通过提出的回译方法，我们实现了对先前 SLT 方法的显着改善。
sign language translationparallel datasign back-translationcsl-dailyend-to-end training
发现论文，激发创造
  • 使用单语数据改进手语翻译

    提出一种转录目标单语言数据为其伪吉祥语的简单高效的规则转换方法，从而增强 SLT 翻译的自动化，实验结果表明，该方法能够显着提高 SLT 的性能，尤其是在 PHEONIX-WEATHER 2014T 和 ASLG-PC12 等两个 SLT 基准数据集上实现了最新成果。

    Apr, 2023

  • 手语术语翻译的数据增强

    该研究提出了两个基于规则的启发式方法，从而提高了手语到文本翻译的机器翻译准确性，并成功地将美国手语（ASL）翻译成英语和德国手语（DGS）翻译成德语。

    May, 2021

  • 利用领域文本生成对回译进行缩放，用于手语术语翻译

    本文提出了一种 Prompt-based domain text generation (PGEN) 方法来克服标记稀缺性问题，该方法使用预训练语言模型（即 GPT-2）生成类似于原始领域口语的文本，通过该方法生成的口语文本用于 BT 技术，实现了手语标记翻译方面的显着性能提升，并且 PGEN 生成的口语文本规模越大，BT 技术的效果越好。

    Oct, 2022

  • 无术语手语翻译：基于视觉 - 语言预训练的改进

    基于视觉 - 语言预训练的无手语互译（GFSLT-VLP）方法通过结合对比式语言 - 图像预训练（CLIP）和掩码自监督学习，构建了一个端到端的模型，实现了在 PHOENIX14T 数据集上的 BLEU-4 分数大幅提升（> +5），取得了与最先进的无手语互译方法相当的竞争性结果。

    Jul, 2023

  • 朝着规模化的注重隐私的手语翻译

    通过两阶段的框架提出了 SSVP-SLT，该框架应对了缺乏对齐字幕的手语数据的问题，并解决了基于大规模网络抓取的数据集存在的隐私风险，通过自监督视频预训练和面部模糊化来提高 SLT 性能和保护隐私。

    Feb, 2024

  • Sign2GPT：利用大型语言模型进行无术语手语翻译

    利用大规模预训练视觉和语言模型通过轻量级适配器实现无语言标注的手语翻译的新型框架 Sign2GPT，在两个公共基准手语翻译数据集上评估并取得明显优于现有技术的无语言标注翻译性能提升。

    May, 2024

  • 一种面向手语翻译的令牌级对比框架

    提出 ConSLT，结合对比学习和手语翻译的解码过程，从而学习有效的标记表示，实验结果表明，ConSLT 比强基线表现更好。

    Apr, 2022

  • 规模理解后向翻译

    使用单语数据生成目标语反向翻译的有效方法能够提高神经机器翻译质量。本研究比较了几种方法生成合成源句子的效果，发现使用采样或噪声束搜索的反向翻译方法效果最好，并证实这种合成数据的训练信号强于束搜索或贪婪搜索的数据，同时也比较了它们与真实的平行语料库的效果，并研究了不同领域对它们的影响。最终，将这种方法扩展到数亿条单语数据，获得了 35 BLEU 的 WMT'14 英德测试集上的最新记录。

    Aug, 2018

  • 基于 STMC-Transformer 的更好手语翻译

    本研究提出了 STMC-Transformer 翻译系统，相对当前最先进技术，在 PHOENIX-Weather 2014T 数据集的亮度 - 文本翻译和视频 - 文本翻译方面提高了 5 和 7 BLEU。在 ASLG-PC12 数据集上，也有超过 16 BLEU 的提高。同时，我们证明了当前方法中的问题，即依赖于 gloss 监督会导致 SLT 表现不佳，并揭示了 gloss 是手语的低效表示方法，因此建议未来的 SLT 研究采用端到端的训练方法或使用不同的手语注释方式。

    Apr, 2020

  • 上下文是否足够？将神经手语翻译推广至广泛话题领域

    从人类翻译的角度出发，我们提出了一种基于多模态变压器架构的上下文感知翻译方法，通过利用上下文信息和自信预测来消除较弱的视觉线索，在最终的变压器解码器中组合来自视频、识别出的手语词汇和前面手语序列的上下文信息，显著提高了本文提出方法在较大规模数据集和公开数据集上的机器翻译性能，近乎翻倍地提高了基线方法的 BLEU-4 分数。

    Aug, 2023