Dec, 2022

UPC 参加 WMT-SLT 22 挑战低资源手语翻译

PDF
TL;DR该研究描述了在 Politècnica de Catalunya 开发的系统，用于机器翻译 2022 手语翻译任务的手语到文本方向，使用实施了 Fairseq 建模工具的 Transformer 模型。我们使用了 PHOENIX-14T 数据集进行模型预训练和数据增强技术进行了实验。我们的系统为测试集获得了 0.50 BLEU 分数，比组织者的基线提高了 0.38 BLEU。我们强调了基线和我们系统的表现欠佳，进而强调了这些发现的不可靠性。
machine translationsign languagetransformer modeldata augmentationphoenix-14t dataset
发现论文，激发创造
  • 基于基础模型和最优输运技术的语音翻译：UPC 参加 IWSLT23 比赛

    本文介绍了 UPC 语音翻译小组提交给 IWSLT 2023 离线语音翻译任务的成果。他们使用了基于 wav2vec2.0 和 mBART50 的基础模型， 通过 CTC 和最优传输的同时式预训练步骤，将语音编码器和文本编码器适应到一个空间中，从而最大限度地提高了机器翻译的传输学习。对于现有的 ST 语料库，他们还使用了 SegAugment 创建合成数据以更好地适应 IWSLT 测试集的自定义分割。最终，他们的最佳模型在 MuST-C tst-COMMON、IWLST.tst2020 和新发布的 IWSLT.ACLdev2023 上获得了 31.2、29.8 和 33.4 BLEU 分数。

    Jun, 2023

  • 基于 STMC-Transformer 的更好手语翻译

    本研究提出了 STMC-Transformer 翻译系统，相对当前最先进技术，在 PHOENIX-Weather 2014T 数据集的亮度 - 文本翻译和视频 - 文本翻译方面提高了 5 和 7 BLEU。在 ASLG-PC12 数据集上，也有超过 16 BLEU 的提高。同时，我们证明了当前方法中的问题，即依赖于 gloss 监督会导致 SLT 表现不佳，并揭示了 gloss 是手语的低效表示方法，因此建议未来的 SLT 研究采用端到端的训练方法或使用不同的手语注释方式。

    Apr, 2020

  • 使用预训练模型和适配器进行端到端的语音翻译：UPC 在 IWSLT 2021

    本文介绍了 UPC 机器翻译小组提交给 IWSLT2021 离线语音翻译任务的参赛作品，是一个基于端到端的离线语音翻译系统，采用预训练模型 Wav2Vec 2.0 和 mBART 的联合技术，在仅训练 20% 的参数的前提下获得了 27.3 的 BLEU 分数，并采用 Adapter 及预训练技术提高了收敛速度和最终结果，最后使用 Ensemble 模型取得 28.22 的 BLEU 分数，同时还使用了一种自定义细分算法，在 IWSLT2019 测试集上相对于给定细分的结果提高了 2.5 到 3 的 BLEU 分数。

    May, 2021

  • 文本清晰与全身变形器：微软参加 WMT22 共享任务的手语翻译提交

    本文介绍微软对 WMT 2022 年第一次手语翻译共享任务的提交结果，展示了一种基于动作识别的全身信息提取、标准 Transformer 网络应用、目标文本数据清理的手语翻译系统，该系统在测试集和开发集上的 BLEU 得分是参与者中最好的，并在人类评估中获得第一名，同时在开发集上应用唇读模型提取的特征进一步提高了 BLEU 得分。

    Oct, 2022

  • 指令视频中的手语翻译

    该研究使用 Transformer 和 I3D 视频特征对 How2Sign 数据集进行训练，并以降低的 BLEU 作为参考指标，获得了 8.03 的 BLEU 得分，提供了第一个开源实现，推进了自动手语翻译技术的发展。

    Apr, 2023

  • 基于预训练 ASR 模型的低资源语音转文本翻译策略

    本文提出了改进低资源语音转文本翻译性能的技术和发现，实验结果显示多语言自动语音识别系统在低资源场景下作为良好的初始化，CTC 作为额外的目标有助于重新排序内部表示并提高最终翻译。通过实验，确定了对改进低资源设置最有贡献的各种因素（初始化、目标和超参数）。在只有 300 小时的预训练数据下，模型在 Tamasheq - French 数据中取得了 7.3 的 BLEU 分数，比 IWSLT 2022 的先前发表作品高 1.6 个百分点。

    May, 2023

  • 极低资源语言通用神经机器翻译

    本文介绍了一种针对数据有限的语言的新的通用机器翻译方法，利用迁移学习的方法，在多源语言之间共享词汇和句子级别的表示，从而帮助低资源的语言利用高资源语言的词汇和句子表示，在罗马尼亚语 - 英语 WMT2016 上，我们的方法在 6k 的平行语料库上能够获得 23 BLEU 分数，远高于使用多语言训练和反向翻译的强基线系统的 18 BLEU 分数，此外，我们还展示了该方法可以在零样本条件下对同一数据集进行微调，达到接近 20 BLEU 的分数。

    Feb, 2018

  • UPB 在 IberLEF-2023 AuTexTification 中的使用：使用 Transformer 集成检测机器生成的文本

    该研究论文描述了 UPB 团队在 IberLEF-2023 的 AuTexTification 共享任务中提交的解决方案，主要使用基于 Transformer 的深度学习模型以及多任务学习等训练技术，最佳模型在英语和西班牙语数据集上分别达到了 66.63% 和 67.10% 的宏 F1 分数。

    Aug, 2023

  • Sign2GPT：利用大型语言模型进行无术语手语翻译

    利用大规模预训练视觉和语言模型通过轻量级适配器实现无语言标注的手语翻译的新型框架 Sign2GPT，在两个公共基准手语翻译数据集上评估并取得明显优于现有技术的无语言标注翻译性能提升。

    May, 2024

  • 探索更多指导：一种基于任务感知的指令网络，利用数据增强提高手语翻译

    本研究提出了一种任务感知的指令网络，即 TIN-SLT，用于手语翻译，通过引入指令模块和基于学习的特征融合策略到 Transformer 网络中，从而充分利用预训练模型的语言能力来进一步提高翻译性能。另外，通过探索手语词汇和目标口语的表示空间，我们提出了一种多级数据增强方案来调整训练集的数据分布。我们在两个具有挑战性的基准数据集 PHOENIX-2014-T 和 ASLG-PC12 上进行了大量实验，其中我们的方法在 BLEU-4 方面的表现比以前的最佳解决方案提高了 1.65 和 1.42。

    Apr, 2022