Jul, 2024

Gloss2Text: 使用 LLMs 和语义感知标签平滑的手语标记翻译

PDF
TL;DR我们的研究通过利用预训练的大型语言模型（LLMs）、数据增强和新的标签平滑损失函数，在中间注释的视频中，专注于 Gloss2Text 翻译阶段，并在 PHOENIX Weather 2014T 数据集上的广泛实验和消融研究中取得了显著的性能提升，为手语翻译领域的研究和发展提供了有效的方法和有前景的方向。
sign language translationvideospoken textgloss annotationslanguage models
发现论文，激发创造
  • 手语术语翻译的数据增强

    该研究提出了两个基于规则的启发式方法，从而提高了手语到文本翻译的机器翻译准确性，并成功地将美国手语（ASL）翻译成英语和德国手语（DGS）翻译成德语。

    May, 2021

  • Sign2GPT：利用大型语言模型进行无术语手语翻译

    利用大规模预训练视觉和语言模型通过轻量级适配器实现无语言标注的手语翻译的新型框架 Sign2GPT，在两个公共基准手语翻译数据集上评估并取得明显优于现有技术的无语言标注翻译性能提升。

    May, 2024

  • 使用单语数据改进手语翻译

    提出一种转录目标单语言数据为其伪吉祥语的简单高效的规则转换方法，从而增强 SLT 翻译的自动化，实验结果表明，该方法能够显着提高 SLT 的性能，尤其是在 PHEONIX-WEATHER 2014T 和 ASLG-PC12 等两个 SLT 基准数据集上实现了最新成果。

    Apr, 2023

  • 无术语手语翻译：基于视觉 - 语言预训练的改进

    基于视觉 - 语言预训练的无手语互译（GFSLT-VLP）方法通过结合对比式语言 - 图像预训练（CLIP）和掩码自监督学习，构建了一个端到端的模型，实现了在 PHOENIX14T 数据集上的 BLEU-4 分数大幅提升（> +5），取得了与最先进的无手语互译方法相当的竞争性结果。

    Jul, 2023

  • VK-G2T：视觉和上下文知识增强的 Gloss2Text

    通过视觉内容和上下文知识加强的 VK-G2T 模型，在中文基准测试中取得了优越的成果。

    Dec, 2023

  • 非干涉式端到端手语翻译

    本文介绍了 GloFE 框架，该框架解决了无手语注释的手语翻译问题，并通过利用手语和口语的共同语义以及密码比对，在包括 OpenASL 和 How2Sign 在内的大型数据集上获得了最新的结果。

    May, 2023

  • 光泽无关手语翻译的注视注意力

    本文提出了 GASLT 模型，使用 gloss attention 帮助模型理解手语视频，以及从自然语言模型中传递句子相似性的知识来帮助模型理解手语视频，实验结果表明，我们的 GASLT 模型在多个大型手语数据集上明显优于现有方法。

    Jul, 2023

  • 基于词汇的有意义手语机器翻译的考虑

    本论文讨论了自然语言处理中自动手语处理的概念，特别是在机器翻译中应用的神经语汇翻译方法的限制和不足，并提出了对于未来手语翻译研究的具体建议，包括增强评估，改进现有数据集和强化评估标准。

    Nov, 2022

  • 无需术语和不必要解释的通用手语翻译和生成的亮度级别表示法

    通过引入 Universal Gloss-level Representation (UniGloR)，我们提出了一个统一的自监督解决方案，用于手语翻译和手语生成任务，并在各项任务中展示了 UniGloR 的有效性。我们的研究表明，自监督学习可以以统一的方式进行，为未来的创新与实际应用铺平了道路。

    Jul, 2024

  • 半监督口语语言概述化

    半监督口语语言标注（S3LG）框架通过引入大规模单语口语文本到标注的手语编码训练中，采用基于规则和基于模型的自动标注方法，添加一种特殊标记以区分合成数据，并利用一致性正则化减少合成数据中的噪音负面影响，通过在公共基准测试上的大量实验证明了该框架的有效性。

    Jun, 2024