Feb, 2024

美国手语视频文本翻译

PDF
TL;DR手语转文字是一项关键技术，可以消除听障者之间的交流障碍。我们在最近发表的研究上进行复制并进行改进，通过使用 BLEU 和 rBLEU 度量来评估模型的翻译质量。在我们的消融研究中，我们发现模型的性能受到优化器、激活函数和标签平滑的显著影响。进一步的研究旨在改进视觉特征捕捉、增强解码器的利用以及整合预训练解码器以获得更好的翻译结果。我们的源代码可供查看以便复制我们的结果并鼓励未来研究。
sign languagetextcommunication barrierstranslation qualityvisual feature capturing
发现论文，激发创造
  • 指令视频中的手语翻译

    该研究使用 Transformer 和 I3D 视频特征对 How2Sign 数据集进行训练，并以降低的 BLEU 作为参考指标，获得了 8.03 的 BLEU 得分，提供了第一个开源实现，推进了自动手语翻译技术的发展。

    Apr, 2023

  • 基于示例的从文本到手语层级表示的机器翻译

    本文提出了一种基于 AZee 的文本到手语翻译的算法，利用特定领域的平行语料库来解决数据短缺的问题，通过检测源文本中存在的相似性，递归地利用匹配和对齐段的替换来建立一个句子的多个候选翻译，这有助于以一种生成的方式尽可能保留手语结构。最终的翻译以 AZee 表达式的形式呈现，旨在作为输入到 Avatar 合成系统中。我们提供了一个测试集来展示其表现，并观察到了一些局限性。这项工作最终开启了评估翻译和语言方面的可能性，例如准确性和语法流畅性。

    May, 2022

  • LLMs 是优秀的手语翻译器

    使用大型语言模型训练手语翻译任务，提出了 SignLLM 框架，将手语视频转换为类似语言的表示，通过两个关键模块进行转换，同时采用标记对齐损失来增强语义兼容性，在两个广泛使用的手语翻译基准测试中取得了最先进的无注释结果。

    Apr, 2024

  • 基于计算机视觉的中国手语双向翻译系统

    该研究使用轻量级神经网络模型和 Bert-Base-Chinese 模型开发了一种适用于中文手语的实时翻译系统，经过性能测试表明其识别准确率达到了 99.3％，翻译生成的时间大约为 1.3 秒。

    Jun, 2023

  • SignBLEU：多通道手语翻译的自动评估

    该研究介绍了一种名为多信道手语翻译 (MCSLT) 的新任务，并提出了一种用于捕捉多种信号通道的新度量标准 SignBLEU。通过在三个手语文本语料库上验证 SignBLEU，并通过两个部分级任务考察其与人类判断的相关性，研究发现 SignBLEU 与人类判断的相关性始终优于竞争度量标准。为了促进进一步的 MCSLT 研究，研究报告了三个手语文本语料库的基准分数，并发布了 SignBLEU 的源代码。

    Jun, 2024

  • 基于 STMC-Transformer 的更好手语翻译

    本研究提出了 STMC-Transformer 翻译系统，相对当前最先进技术，在 PHOENIX-Weather 2014T 数据集的亮度 - 文本翻译和视频 - 文本翻译方面提高了 5 和 7 BLEU。在 ASLG-PC12 数据集上，也有超过 16 BLEU 的提高。同时，我们证明了当前方法中的问题，即依赖于 gloss 监督会导致 SLT 表现不佳，并揭示了 gloss 是手语的低效表示方法，因此建议未来的 SLT 研究采用端到端的训练方法或使用不同的手语注释方式。

    Apr, 2020

  • 使用手语回译的单语数据提高手语翻译

    本研究提出了一种标志性的回译（SignBT）方法，利用大规模口语文本来协助手语翻译（SLT）的训练。此外，我们还发布了一个大规模的连续 SLT 数据集 CSL-Daily，提供口语翻译和注释。通过提出的回译方法，我们实现了对先前 SLT 方法的显着改善。

    May, 2021

  • 使用 SignWriting 表现手语的口语语言和手语之间的机器翻译

    本文研究了机器翻译系统在口语和手语之间的应用，使用手语书写系统 SignWriting 作为手语的表示方式。利用神经因子化机器翻译的方法，该方法能够在手语到英语的双语转换中达到 30 BLEU 的翻译效果，在口语和手语之间的双向翻译中达到 20 BLEU 的翻译效果。这些研究结果证实了中间文本表示法对手语的自然语言处理具有重要意义。

    Oct, 2022

  • 手语识别技术和算法的比较分析

    该研究比较了各种深度学习技术对手语的识别，旨在提供这一领域中最新方法和挑战的综合概述。

    May, 2023

  • Sign2GPT：利用大型语言模型进行无术语手语翻译

    利用大规模预训练视觉和语言模型通过轻量级适配器实现无语言标注的手语翻译的新型框架 Sign2GPT，在两个公共基准手语翻译数据集上评估并取得明显优于现有技术的无语言标注翻译性能提升。

    May, 2024