Nov, 2019

多语言模型实现零样本改写生成

PDF
TL;DR本文通过基于 Transformer 的语言模型提出了一种利用多语言平行文本自动生成同义词的简单统一模型，可以在一步中实现无监督同义词生成。该模型相较于中文中的折叠法方法，其生成的同义词更加相似，并且能够在大规模未对齐的语料库上进行预训练。同时，利用噪声自编码器机制还可以提高模型的多样性和鲁棒性。实验结果表明，该模型在同义词关系、多样性、流畅度和效率等方面均优于折叠法。
multilingualparaphrasingtransformer-basedlanguage modelsdenoising auto-encoder
发现论文，激发创造
  • 探索语言相似性和零样本学习用于德拉维多语言的多语种翻译

    通过利用音译和语言相似性，本研究构建了一个单一编解码器神经机器翻译系统，用于 Dravidian-Dravidian 多语言翻译和零翻译；通过限制词汇表使用优化传输技术，该模型在训练语言方向的 50％上达到了与大型基于引导的模型相差 3 个 BLEU 的分数。

    Aug, 2023

  • 将改写生成视为零样本多语言翻译：将语义相似性从词汇和句法多样性中分离开来

    通过引入简单的改进算法，不鼓励生成输入中已有的 N-grams，利用多语言神经机器翻译模型生成同义句，控制输入和输出之间的词汇多样性，人工评估表明，该方法比基于 ParaBank 2 的同义句生成器更好地维护意义和语法正确性，并且在两种非英语语言上也同样有效。

    Aug, 2020

  • 通过零样式改写实现多语言自动机器翻译评估

    使用序列到序列的释义器作为人类参考的评估工具，将机器翻译评估任务转化为对机器翻译输出进行评分的任务。通过将释义技术视为零射任务，将释义器训练为多语言 NMT 系统，并将其应用于质量估计任务中，以条件化源，而不是参考，发现其在各种语言对中的表现均优于 WMT 2019 质量评估任务中的所有其他度量标准。

    Apr, 2020

  • 基于视觉信息引导的零射击释义生成

    本文提出了一种基于视觉信息的零样本释义生成模型 ViPG，它利用图像的引导作用，通过联合训练图像字幕模型和释义模型，生成具有良好相关性、流畅性和多样性的释义，表明图像作为零样本释义的一种引导方式具有潜在前景。

    Jan, 2022

  • 利用语言无关约束改进零 - shot 翻译

    通过设计归一化方法来改进 Transformer 模型以实现对未在训练过程中出现的语言对进行零 - shot 机器翻译，此方法可使系统在 IWSLT 2017 多语言数据集中平均提高 2.23 BLEU 分数。

    Jun, 2019

  • 从词到句：基于视觉桥接的零资源机器翻译渐进式学习方法

    本文提出了一种基于图片引导的无资源机器翻译渐进式学习方法，从词级别开始逐步学习，最终将学习到的词汇级别的翻译应用在句子级别的翻译上，从而有效减少了图片噪声对模型学习的干扰，在两个广泛使用的基于图像引导的翻译数据集上，该方法明显优于其他最先进的方法。

    Jun, 2019

  • 通过生成改写句实现多语言词汇简化

    基于预训练语言模型的词汇简化方法取得了显著进展，通过分析词语在其上下文环境中的替代词生成复杂词的潜在替代词。然而，这些方法需要针对不同语言进行单独的预训练模型，并且忽略了对句子意义的保留。本文提出了一种新颖的多语言词汇简化方法，通过生成释义来提供词语选择的多样性，同时保持句子的意义。我们将释义任务视为支持数百种语言的多语言神经机器翻译中的零 - shot 翻译任务。在释义建模的编码器中输入句子后，我们基于一种集中于复杂词的词汇变体的新颖解码策略生成替代词。实验结果表明，我们的方法在英语、西班牙语和葡萄牙语上明显优于基于 BERT 的方法和零 - shot GPT3 方法。

    Jul, 2023

  • 基于轴心的非英语语言神经机器翻译迁移学习

    本文提出了三种有效的预训练策略来提高神经机器翻译的性能，通过使用一种中间语言来实现对原语言和目标语言对之间关系的增强，从而在 WMT 2019 的 法德和德捷语任务中超过了多语言模型，同时优化了零样本 / 零资源情境下的翻译效果。

    Sep, 2019

  • 提高低资源语言的零 - shot 翻译

    本文提出一种简单的迭代训练过程，利用系统直接生成的翻译对零 - shot 方向进行翻译，以及原始并行数据，来重新训练多语言网络，有效提高了多语言模型的 BLEU 分数，并且在非零 - shot 语言方向上的性能也略有提升。

    Nov, 2018

  • 重拾零样本神经机器翻译：从潜在变量角度出发

    该研究利用深度学习方法，将自然语言翻译应用于零式翻译，提出使用去噪自编码器和支点语言改进零式翻译的传统训练目标，以提高翻译准确性，并在两个基准机器翻译数据集上取得了优异的表现。

    Sep, 2021