ACLOct, 2022

利用领域文本生成对回译进行缩放，用于手语术语翻译

PDF
TL;DR本文提出了一种 Prompt-based domain text generation (PGEN) 方法来克服标记稀缺性问题，该方法使用预训练语言模型（即 GPT-2）生成类似于原始领域口语的文本，通过该方法生成的口语文本用于 BT 技术，实现了手语标记翻译方面的显着性能提升，并且 PGEN 生成的口语文本规模越大，BT 技术的效果越好。
sign language gloss translationback translationdomain text generationlanguage modeldata scarcity
发现论文，激发创造
  • 使用手语回译的单语数据提高手语翻译

    本研究提出了一种标志性的回译（SignBT）方法，利用大规模口语文本来协助手语翻译（SLT）的训练。此外，我们还发布了一个大规模的连续 SLT 数据集 CSL-Daily，提供口语翻译和注释。通过提出的回译方法，我们实现了对先前 SLT 方法的显着改善。

    May, 2021

  • Sign2GPT：利用大型语言模型进行无术语手语翻译

    利用大规模预训练视觉和语言模型通过轻量级适配器实现无语言标注的手语翻译的新型框架 Sign2GPT，在两个公共基准手语翻译数据集上评估并取得明显优于现有技术的无语言标注翻译性能提升。

    May, 2024

  • 手语术语翻译的数据增强

    该研究提出了两个基于规则的启发式方法，从而提高了手语到文本翻译的机器翻译准确性，并成功地将美国手语（ASL）翻译成英语和德国手语（DGS）翻译成德语。

    May, 2021

  • 使用单语数据改进手语翻译

    提出一种转录目标单语言数据为其伪吉祥语的简单高效的规则转换方法，从而增强 SLT 翻译的自动化，实验结果表明，该方法能够显着提高 SLT 的性能，尤其是在 PHEONIX-WEATHER 2014T 和 ASLG-PC12 等两个 SLT 基准数据集上实现了最新成果。

    Apr, 2023

  • 针对机器翻译的领域特定文本生成

    本研究提出了一种利用预训练语言模型进行领域特定数据增强的领域自适应新方法，通过该方法，配合回译技术，可生成大量合成双语的领域内数据，从而显著改进了机器翻译的领域内文本的翻译效果。人工评估结果进一步证实了自动评估结果的准确性。

    Aug, 2022

  • 无术语手语翻译：基于视觉 - 语言预训练的改进

    基于视觉 - 语言预训练的无手语互译（GFSLT-VLP）方法通过结合对比式语言 - 图像预训练（CLIP）和掩码自监督学习，构建了一个端到端的模型，实现了在 PHOENIX14T 数据集上的 BLEU-4 分数大幅提升（> +5），取得了与最先进的无手语互译方法相当的竞争性结果。

    Jul, 2023

  • VK-G2T：视觉和上下文知识增强的 Gloss2Text

    通过视觉内容和上下文知识加强的 VK-G2T 模型，在中文基准测试中取得了优越的成果。

    Dec, 2023

  • 上下文是否足够？将神经手语翻译推广至广泛话题领域

    从人类翻译的角度出发，我们提出了一种基于多模态变压器架构的上下文感知翻译方法，通过利用上下文信息和自信预测来消除较弱的视觉线索，在最终的变压器解码器中组合来自视频、识别出的手语词汇和前面手语序列的上下文信息，显著提高了本文提出方法在较大规模数据集和公开数据集上的机器翻译性能，近乎翻倍地提高了基线方法的 BLEU-4 分数。

    Aug, 2023

  • 文本生成的转移提示学习

    本文提出一种基于提示的文本生成方法（PTG），采用预训练语言模型，在面对数据匮乏的情况下通过学习一组源提示并将其转移为目标提示执行目标生成任务，设计了一个自适应注意机制以得出目标提示，实验结果表明 PTG 针对多个任务产生了有竞争力的结果，源提示已开放并可用于未来研究。

    May, 2022

  • 半监督口语语言概述化

    半监督口语语言标注（S3LG）框架通过引入大规模单语口语文本到标注的手语编码训练中，采用基于规则和基于模型的自动标注方法，添加一种特殊标记以区分合成数据，并利用一致性正则化减少合成数据中的噪音负面影响，通过在公共基准测试上的大量实验证明了该框架的有效性。

    Jun, 2024