Mar, 2023

Bilex Rx：大规模多语机器翻译的词汇数据增强

PDF
TL;DR本文探讨使用双语词汇表在网络爬取的文本训练数据上进行无监督机器翻译的有效性，通过词汇数据增强，我们证明了其对于提升无监督翻译成果的重要性，并开源了 GATITOS，这是一个在 26 种低资源语言中表现最好的多语种词汇表。
neural machine translationunsupervised machine translationbilingual lexicalexical data augmentationmultilingual lexicon data
发现论文，激发创造
  • 针对无监督神经机器翻译，提升预训练语言模型的词汇能力

    本文介绍了一种基于子词嵌入的双语掩码语言模型预训练方法，应用于无监督神经机器翻译和双语词汇归纳任务中均取得了较好的性能表现。

    Mar, 2021

  • 利用双语词典进行低资源半监督神经机器翻译

    本研究提出了一种基于双语词典的数据增强技术，使得机器翻译模型能够扩展词汇表而不会影响低资源环境下的合成句子的质量，我们的方法在性能上表现出可观的改进。

    Apr, 2020

  • 基于词典的形态学感知数据增强技术用于机器翻译低资源语种

    我们提出了一种依赖于词法 - 句法信息和双语词典以及少量种子并行数据来合成并行数据的策略，该方法在 14 种语言中（28 个英语 <->X 对）的实验中展示了性能的一致提升。

    Feb, 2024

  • 通过基于词典的适应扩展预训练模型以覆盖数千种更多语言

    本文探究了利用双语词典作为文本资源，从而使得多语言预训练模型的性能不再依赖于单一语种下的文本数据，通过不同策略合成文本或标注数据，并与单语文本或平行文本相结合，以提高在三个任务上 19 种欠发达语言的性能，为千余种使用 NLP 技术的欠代表语种提供了思路。

    Mar, 2022

  • 通过持续预训练和字典学习分析改进使用翻译数据训练的语言模型

    利用机器翻译从英语训练 LLMs 在低资源语言中通常会带来翻译的挑战，然而我们研究了机器翻译和合成数据在训练语言模型中的作用，并通过案例研究展示了改进的效果。

    May, 2024

  • 低资源翻译的广义数据增强

    本论文提出了一种在低资源机器翻译中进行数据增强的通用框架，该框架不仅使用目标端单语数据，还通过相关高资源语言进行桥接，通过在两个步骤中使用词典和修改无监督机器翻译框架，将高资源数据转换为低资源语言，实验证明该方法在极低的资源条件下，与受监督背景转换基线相比，可将翻译质量提高 1.5 到 8 个 BLEU 点。

    Jun, 2019

  • 低资源神经机器翻译的数据增强

    本研究提出了一种以数据增强为基础的方法，针对低频词汇在合成的新语境中生成新的句子对，以提高神经机器翻译系统的翻译质量。在模拟低资源环境中的实验结果显示，相对于基准和回译方法，我们的方法能够提高翻译质量，最高可提高 2.9 BLEU 分数。

    May, 2017

  • 利用生成式语言模型进行神经机器翻译的数据增强

    通过利用大规模语言模型如 ChatGPT，我们探索了基于提示的数据增强方法，用于产生合成的平行语料库，比较了三种不同提示的方法，并使用两个评估指标来衡量所生成的合成数据的多样性。这种方法无需额外的模型训练成本，与后向翻译等其他增强方法相比，提高了未增强基线的 0.68 BLEU 分数。

    Jul, 2023

  • 基于 LLM 的数据增强方法提升跨语言表现

    本研究探讨了利用大型语言模型进行数据增强在跨语言常识推理数据集中的潜力，通过使用包括 Dolly-v2、StableVicuna、ChatGPT 和 GPT-4 在内的大型语言模型来扩充三个数据集，确定了该方法的有效性，并比较了使用英语生成数据和将英语生成的数据翻译成目标语言。实验结果表明，使用 GPT-4 生成的合成数据进行训练的性能比其他模型优秀，ChatGPT 和 GPT-4 在大多数语言中生成的自然文本效果非常好，但在某些情况下，它们的效益会下降。

    May, 2023

  • 文本增强技术在低资源机器翻译中的应用：斯瓦希里语案例研究

    本研究旨在探讨将文本数据增强技术应用于低资源机器翻译的影响，研究表明在针对英斯瓦西里（En-Sw）数据集进行神经机器翻译时，文本分类任务中常用的三种数据增强技术（同义词替换、随机插入和上下文数据增强）均可提高系统性能，尤其是上下文数据增强技术。

    Jun, 2023