Jun, 2021

DeltaLM: 使用预训练多语言编码器扩充编码器 - 解码器预训练，以用于语言生成和翻译

PDF
TL;DR介绍了一种名为 DeltaLM 的预训练多语言编码器 - 解码器模型，桥接了预训练编码器和自然语言生成之间的鸿沟，采用自监督方式的跨语言数据预训练任务。实验显示，DeltaLM 在机器翻译、文本摘要、数据生成和问题生成等自然语言生成和翻译的任务上都优于强基线。
发现论文，激发创造
  • GanLM: 带有辅助鉴别器的编码器 - 解码器预训练

    本文提出了一种名为 GanLM 的基于生成对抗网络（GANs）的编码器 - 解码器预训练模型，利用辨别器和训练目标：替换标记检测和替换标记去噪，有选择地使用去噪数据以提高语言理解和生成能力，在语言生成基准测试中取得了最先进的性能。

    Dec, 2022

  • 语言模型是优秀的翻译器

    该研究表明，预训练的单一语言模型（LM4MT）可以与强大的编码器 - 解码器 NMT 模型在标准机器翻译基准测试中取得可比较的性能，LM4MT 还可以轻松利用源侧文本作为额外的监督。LM4MT 可以为源语言和目标语言提供统一的表示形式，在跨语言知识转移方面表现更好，并在基于中间语言和零样本翻译任务中获得显著的优势。

    Jun, 2021

  • 基于预训练的跨语言自然语言生成

    本文使用序列到序列模型进行自然语言生成任务，使用预训练的方法并将编码器和解码器用于单语和跨语言，实现零 - shot 跨语言转移、提高低资源语言的 NLG 性能。

    Sep, 2019

  • 多语言机器翻译：缩小共享编码器 - 解码器和语言特定编码器 - 解码器之间的差距

    本文提出了一种针对多语言机器翻译的替代方法，该方法基于特定于语言的编码器 - 解码器，可以更轻松地通过学习相应的模块来扩展到新语言。同时训练初始语言以促进通用 interlingua 表示，实验表明该方法平均优于通用编码器 - 解码器 3.28 BLEU 点，当添加新语言时，无需重新训练其余模块，因此推进了可灵活扩展的模块化多语机器翻译系统的发展。

    Apr, 2020

  • 通用多语言文档编码器

    本研究使用维基百科作为训练数据，通过交叉语言对比的目标来训练具有上下文感知的浅层文档转换器，它可以用于监督和非监督文档级任务。该模型在两个常见的跨语言文档级任务中比基于段落的表示和多语言 Longformer 表现更好，并成功推广到了未见过的语言上。

    May, 2023

  • XLM-T: 使用预训练的跨语言 Transformer 编码器扩展多语言机器翻译能力

    本文介绍了使用预训练的跨语言 Transformer 编码器初始化模型，并使用多语言平行数据微调的简单方法 XLM-T，它在 10 种语言对的 WMT 数据集和 94 种语言对的 OPUS-100 语料库中实现了显着的性能提升。此外，对 XLM-T 进行的无监督句法分析，词对齐和多语言分类的广泛分析说明了其对机器翻译的有效性。

    Dec, 2020

  • 多语言神经机器翻译：深度编码器与多浅层解码器

    对多语种翻译使用深度编码器和浅层解码器 (DEMSD) 的方法，使得在翻译质量没有显著损失的情况下，可获得 1.8 倍的平均速度提升。

    Jun, 2022

  • DrBERT: BERT 预训练中揭示掩码语言模型解码器的潜力

    提出了多个增强的解码器设计，并引入了 DrBERT（经过解码器优化的 BERT）作为一种新方法进行模型训练，通过微调对原始 BERT 模型的解码器进行改进，有效提高了模型性能而不增加推理时间和资源使用。

    Jan, 2024

  • XDLM：跨语言扩散语言模型用于机器翻译

    提出了 XDLM，一种新颖的用于机器翻译的跨语言扩散模型，包括预训练和微调阶段。在预训练阶段，提出了 TLDM，用于掌握不同语言之间的映射关系；在微调阶段，基于预训练模型构建了翻译系统，并在多个机器翻译基准测试中优于扩散模型和 Transformer 基线。

    Jul, 2023

  • 自蒸馏模型叠加在 200 + 种语言中实现跨语言自然语言理解

    通过将 MT 编码器直接集成到 LLM 主干中，我们通过样本高效的自我蒸馏获得了 MT-LLM，从而将低资源语言与以英语为中心的 LLM 中嵌入的丰富知识相结合，实现了跨语言的多语言语言理解。

    Jun, 2024