低资源双重限制：一项关于剪枝用于低资源机器翻译的实证研究

EMNLPOct, 2021

低资源双重限制：一项关于剪枝用于低资源机器翻译的实证研究

The Low-Resource Double Bind: An Empirical Study of Pruning for Low-Resource Machine Translation

Orevaoghene Ahia, Julia Kreutzer, Sara Hooker

TL;DR本研究探讨了在数据受限制的情况下使用压缩技术的影响，以及使用 magnitude pruning 的机器翻译任务中，在低资源情况下尽量保留性能的方法（使用稀疏性来避免 Memorization of low frequency attributes)。

Abstract

A "bigger is better" explosion in the number of parameters in deep neural networks has made it increasingly challenging to make state-of-the-art networks accessible in compute-restricted environments. compression techniques have taken on renewed importance as a way to bridge the gap. H

compression techniques low-resource double bind machine translation magnitude pruning sparsity

发现论文，激发创造

当小的更小时会发生什么？探究对小数据预训练语言模型进行压缩的影响

压缩技术对小规模数据语言模型的效率和效果具有显著改善作用，证实了对大规模参数化模型的压缩效果的普遍观点同样适用于小规模数据模型。

Apr, 2024

适应低资源双重限制：研究在非洲低资源语言中使用低计算方法

通过对非洲语言 NLP 的低成本实验，我们评估了语言适配器的效果，并发现它们可以在仅使用免费计算资源的情况下与计算资源密集型的大规模预训练语言模型相媲美，从而打开了进一步实验和探索的可能。

Mar, 2023

神经机器翻译模型的稀疏性

本研究探讨神经机器翻译模型的超参数化问题，并通过实验证明删除的参数可以被再利用来提高基准模型的性能，其提高的翻译结果可以达到 0.8 个 BLEU 值，再利用的参数被用于增强底层的语义建模能力。

Oct, 2020

内存高效的 NLLB-200：大规模多语言机器翻译模型的语言专家剪枝

提出了一种修剪方法，可在保持翻译质量的同时，移除多语言机器翻译中不相关的习惯用语，并检测出特定语种的专家，以便使用 Sparse Mixture-of-Experts 模型在单个 GPU 上运行。

Dec, 2022

低资源研究中的高资源方法学偏差

本文研究了低资源 NLP 中数据不足和数据质量不佳的影响，通过探究 POS 标注和机器翻译这两种任务的实验结果，得出了从高资源语言进行降采样的做法会带来偏差，这表明简单地降采样将引入数据偏差，不应作为低资源 NLP 系统开发的唯一解决方案。

Nov, 2022

压缩多语言模型的有趣属性

本文研究了在多语种预训练语言模型中采用压缩技术的影响，在 40 种语言的 mBERT 命名实体识别模型上，发现压缩技术会提高模型的鲁棒性和低资源语言的性能。

Nov, 2022

通过剪枝压缩神经机器翻译模型

本文探讨了三种基于大小的剪枝模式对 NMT 模型进行压缩，通过实验证明了剪枝技术是一种有效的压缩技术，并且可以通过再训练来恢复或甚至超越原始性能。

Jun, 2016

为低资源神经机器翻译优化 Transformer

本文研究了神经机器翻译中低资源语种的问题，通过在 IWSLT14 数据集上的实验发现，在优化超参数设置的情况下，Transformer 模型在低资源情况下的翻译质量可以提高 7.3 个 BLEU 分数。

Nov, 2020

低资源机器翻译中的语法差异处理

本文提出一种简单但有效的方法，即将目标语句重新排序以匹配源语序，并将其作为另外一种训练时的监督信号，从而在模拟低资源日语 - 英语和真实低资源维吾尔 - 英语语种中获得显着改进。

Aug, 2019

利用双语词典进行低资源半监督神经机器翻译

本研究提出了一种基于双语词典的数据增强技术，使得机器翻译模型能够扩展词汇表而不会影响低资源环境下的合成句子的质量，我们的方法在性能上表现出可观的改进。

Apr, 2020