低资源神经机器翻译的语言模型先验

EMNLPApr, 2020

低资源神经机器翻译的语言模型先验

Language Model Prior for Low-Resource Neural Machine Translation

Christos Baziotis, Barry Haddow, Alexandra Birch

TL;DR本文介绍了一种新的神经翻译模型加入语言模型的先验知识的方法，通过加入正则化项确保神经翻译模型输出分布在语言模型先验下的概率合理，而避免与语言模型的不一致。与先前的工作不同，该方法只在训练时使用语言模型，并不会降低解码速度，实验结果表明该方法适用于小数据量机器翻译任务。

Abstract

The scarcity of large parallel corpora is an important obstacle for neural machine translation. A common solution is to exploit the knowledge of language models (LM) trained on abundant monolingual data. In this work, we propose a novel approach to incorporate a LM as prior in a neural

neural machine translation language models knowledge distillation low-resource machine translation monolingual data

发现论文，激发创造

LMPriors: 预训练语言模型作为任务特定先验

通过引入语言模型先验（LMPriors），该研究证明了利用元数据来鼓励下游模型与 LM 的常识推理保持一致可以提高模型性能，并在多个任务中表现出良好的性能，如特征选择、因果推断和安全强化学习。

Oct, 2022

使用大语言模型引导多语言语义分析器

使用大型语言模型通过少量提示将英文数据集转化为多种语言，以实现多语言语义解析，并在两个公共数据集上与传统的翻译 - 训练方法进行比较，表明使用 LLM 更有效。

Oct, 2022

使用一致性正则化的半监督神经机器翻译技术 —— 面向低资源语言

本文介绍一种半监督的方法来解决低资源语言机器翻译的问题，通过增强高质量的句子对和使用基于 SentenceBERT 的过滤器来提高数据质量，将交叉熵损失和 KL 散度相结合，特别是通过伪目标句子实现无监督训练，实验证明该方法可以显著提高 NMT 基线性能

Apr, 2023

利用后验正则化进行神经机器翻译的先验知识整合

本文提出使用后验正则化方法将多种重叠、任意先验知识源集成进神经机器翻译的通用框架中，通过将先验知识源表示为特征方式指导神经机器翻译模型的学习过程，实验结果证明此方法显著提高了中英文翻译效果。

Nov, 2018

基于单语翻译记忆的神经机器翻译

本研究提出了一种新的框架，使用单语记忆并以跨语言方式进行可学习的记忆检索，以增强神经机器翻译性能，并展示其在较低资源和领域适应情况下的有效性。

May, 2021

利用预训练语言模型进行未监督 NMT 的低语料语言重用

通过对两种大规模单语数据进行预先训练的语言模型（LM）初始化无监督神经机器翻译（UNMT）系统可以获得最先进的结果，但当一个语言的数据有限时，则会导致翻译不佳。我们提出了一种有效的方法，该方法重新使用仅在高资源语言上进行预训练的 LM。单语 LM 在两种语言上进行微调，然后用于初始化 UNMT 模型。为了重复使用预先训练的 LM，我们必须修改其预定义的词汇量以适应新语言。因此，我们提出了一种新颖的词汇扩展方法（RE-LM），在英语 - 马其顿语（En-Mk）和英语 - 阿尔巴尼亚语（En-Sq）中的四个翻译方向上，RE-LM 的表现优于竞争的跨语言预训练模型（XLM），BLEU 分数提高了 + 8.3 以上。

Sep, 2020

将高资源 NMT 模型应用于低资源相关语言的翻译，不需要平行数据

本论文研究如何使用语言重叠来进行翻译，在仅有少量单语数据的情况下，结合去噪自编码、回译和对抗性目标，提出了一种名为 NMT-Adapt 的方法，实现了对低资源语言的翻译的提高。

May, 2021

低资源神经机器翻译调查

本文对低资源神经机器翻译进行了调查，并根据所使用的辅助数据将相关作品分为三类：利用源语言和 / 或目标语言的单语数据，利用来自辅助语言的数据以及利用多模态数据。该调查有助于研究人员更好地理解该领域，鼓励他们设计更好的算法，也有助于帮助行业从业者选择适合其应用程序的算法。

Jul, 2021

低资源语言的神经机器翻译

本文研究通过引入更多本地依赖关系和使用单词对齐来学习翻译过程中的句子重新排序，在低资源语言中使用神经机器翻译 (NMT) 模型，产生仅使用 7 万个训练数据令人满意的翻译结果。

Aug, 2017

低资源语言的神经机器翻译

该研究探索了低资源语言领域的神经机器翻译以及如何通过 NLP 和深度学习技术对语言模型进行改进

Apr, 2023