May, 2023

将多语言理解模型推广为多语言生成器

PDF
TL;DR这篇论文介绍了如何通过一种 SEMANTIC-GUIDED ALIGNMENT-THEN-DENOISING (SGA) 方法将一个多语言编码器 (XLM-R) 转化成一个强大的生成模型，实验结果表明改进的模型在机器翻译、问题生成和故事生成等任务中的表现均优于现有的方法。
multilingual understanding modelsencoder-basednar modelsar modelssga approach
发现论文，激发创造
  • 通过敌对训练利用多语言能力在低资源神经机器翻译中的应用

    本文提出了一个 DAASI 方法用于多语言语言对的句子插值， 该方法可通过学习源语言和目标语言的中间潜在表示来优化基于 GAN 的多语言翻译模型。实验证明，在低资源语言对上，该方法的表现超过了现有的最先进方法，性能提高了最多 4 BLEU 分数。

    Mar, 2023

  • GenTranslate：大型语言模型是生成式跨语音和机器翻译器

    利用大型语言模型的丰富语言知识和强大的推理能力，我们提出了一种新的生成式翻译范式 ——“GenTranslate”，可以从 N 个候选译文中生成更高质量的翻译结果，并且在各种语音和机器翻译基准测试中明显优于现有模型。

    Feb, 2024

  • XLNet：语言理解的泛化自回归预训练

    我们提出了 XLNet—— 一种广义的自回归预训练方法，它通过最大化分解顺序的所有排列的期望似然来学习双向上下文，并且集成了 Transformer-XL 的思想，从而在 20 项任务中胜过了 BERT，包括问题回答、自然语言推断、情感分析和文档排名等方面。

    Jun, 2019

  • AMOM: 条件掩码语言模型的自适应掩码

    本文介绍了一种简单而有效的自适应遮盖策略，用于增强解码器的细化能力和简化编码器优化，证明该方法在多任务序列生成中超越了强大的 CMLM 模型，在机器翻译任务中获得了最先进的性能，并在至少 2.2 倍的加速下比 AR Transformer 实现了更好的性能。

    Mar, 2023

  • 面向可计算验证的语言模型语义基础研究

    本文提出了一种语义基础的语言模型方法，将语言模型嵌入到自编码器中，在保持语义解析器冻结的同时通过采样和训练提高了自动生成的文本的流畅度和语义准确性，使用 BLEU 分数和标准解析度量在 English WebNLG 3.0 数据集上进行实验，并通过人工评估验证了自动评估实验的结果。

    Nov, 2022

  • 预训练语言模型的非自回归式文本生成

    本文提出了一种基于 BERT 的非自回归文本生成模型，通过引入新的解码策略（ratio-first）以及机制来解决 NAG 模型中的两个问题，并在三个文本生成任务上进行全面评估，证明该模型在速度和性能上均优于现有的非自回归基线模型，在许多强自回归模型上也取得了有竞争力的性能.

    Feb, 2021

  • 半自回归神经机器翻译

    本论文提出一种用于快速序列生成的新型模型：半自回归 Transformer (SAT)，该模型在保持全局自回归属性的同时减轻了本地自回归属性，从而能够在每个时间步骤同时产生多个连续的词。在英德翻译和中英翻译任务上进行的实验证明，SAT 实现了翻译质量和解码速度之间的良好平衡。

    Aug, 2018

  • 多语言 AMR-to - 文本生成

    本论文关注结构化数据的文本生成问题，并着眼于通过跨语言嵌入、预训练和多语言模型生成 21 种不同语言的 AMR 到文本模型。通过分析人类评估，我们发现我们的多语言模型能够准确捕捉形态和语序，并被母语人士视为流畅。

    Nov, 2020

  • GLM: 基于自回归空白填充的通用语言模型预训练

    本文提出了一种基于自回归的空白填充预训练方法称为 GLM，该方法通过添加 2D 位置编码和允许任意顺序来预测跨度来改进填空预训练。实验证明 GLM 在自然语言理解、有条件和无条件生成任务上的性能表现要好于 BERT、T5 和 GPT，预训练时还可以将空白的数量和长度改变以适应不同的任务类型。

    Mar, 2021

  • ZmBART：一种用于语言生成的无监督跨语言转移框架

    本文针对自然语言生成中跨语言转移的研究相对匮乏，介绍了一种无监督的跨语言语言生成框架 ZmBART，使用少量高资源语言数据进行监督学习，并通过预训练的方式，利用三种语言的单语数据来进行无监督学习，最终在多种低资源语言上获得了较好的性能。

    Jun, 2021