Dec, 2022

TRIP: 多语言语言模型三角形式的文档级预训练

PDF
TL;DR本文介绍了第一个将常规的单语和双语预训练扩展到三语环境的三角形文档级预训练（TRIP）方法，在对文档级机器翻译和跨语言抽象摘要的实验中，TRIP 在三项多语种文档级机器翻译基准和一个跨语言抽象摘要基准上提高了多达 3.65 d-BLEU 点和 6.2 ROUGE-L 点，并且包括多个强大的最先进得分状态。
multilingual pre-trainingtrilingual parallel datadocument-level machine translationcross-lingual abstractive summarizationstate-of-the-art scores
发现论文，激发创造
  • 多语言跨性质与双向多语言协议在多语言文档级机器翻译中的应用

    本文提出了一种名为 MTrans 的新框架，其使用 TPD 方法进行训练以实现源 - 辅助 - 目标的最优路径，并使用 Bi-MAgree 框架和 MKL 方法来鼓励跨语言一致性。实验表明，这种方法在多个任务上都表现出了显著的改善。

    Sep, 2022

  • DOCmT5: 多语言语言模型的文档级预训练

    本文介绍了一个多语言序列到序列的自然语言模型 DOCmT5，采用大规模平行文档进行预训练和一种名为 DrMT 的文档重排机器翻译方法，通过在各种文档级处理任务上进行，包括文档翻译、跨语言摘要等，达到了业内领先的结果。

    Dec, 2021

  • 使用三元组训练方案提升跨语言语音合成

    本文提出了一种三元组训练方案，借助额外的微调阶段和三元组损失在跨语言语音合成中提高发音自然度和可懂度。

    Feb, 2022

  • 超越三元组：利用最多数据进行多模态机器翻译

    通过提出一个新的方法和新的数据集，本文致力于提高多模式机器翻译的翻译质量并解决了只能利用少量数据和当前的基准相对较为受限约束的问题，结果表明我们的方法更适合实际场景并显著提高了翻译性能。

    Dec, 2022

  • 利用大量多语种知识三元组增强多语言模型

    本文提出了使用多语言知识图谱三元组进行直接训练的基于知识的多语言语言模型。通过生成大量的多语言合成句子并设计预训练任务，实现了 KMLMs 对事实知识和逻辑模式的学习，并在跨语言任务中展示了显著的性能提升，包括命名实体识别（NER）、事实知识检索、关系分类和新设计的逻辑推理任务。

    Nov, 2021

  • 依存句法分析器的三倍训练的再探讨

    本研究比较了两种半监督学习技术，即 tri-training 和预训练词嵌入，在依存句法分析任务中的表现。研究探讨了语言特定的 FastText 和 ELMo 嵌入以及多语言 BERT 嵌入，并选择了匈牙利语、维吾尔语和越南语等语言进行研究。结果表明，预训练词嵌入比 tri-training 更有效地利用了未标记数据，但这两种方法可以成功地结合使用。

    Sep, 2021

  • 为实现零样本神经机器翻译最大化利用多语言预训练

    论文证明多语言预训练和微调策略对于零 - shot 翻译是至关重要的，本文提出了一个强大的多语言翻译模型 SixT+，支持 100 多种源语言，并实现了在不同翻译任务中的最好表现。

    Oct, 2021

  • 基于深度多任务学习的双语稀缺情境神经机器翻译

    本文提出了一种基于多任务学习方法，利用源端的单语言语言资源来解决神经机器翻译中由于缺少平行文本造成模型质量差的问题，并采用语义分析、句法分析和命名实体识别等辅助任务以将语义和 / 或句法知识注入到翻译模型中，实现了在英法、英波斯和英越三种翻译任务上的有效性验证。

    May, 2018

  • MT6: 多语言预训练文本转文本 Transformer 及其翻译数据对

    该研究旨在提高跨语言文本之间转换的效果。通过使用三种跨语言文本 - to-text 预训练任务和部分非自回归目标，将 Multilingual T5 的结果进一步提高到 mT6。经过实验验证，该方法提高了基于八个多语言基准数据集的跨语言转移能力。

    Apr, 2021

  • 无监督神经机器翻译

    本研究提出了一种全新的方法，在没有平行数据的情况下，只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术， 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数，且能够利用少量的平行数据来提高翻译质量。

    Oct, 2017