该研究介绍了一种基于神经机器翻译的重要性修剪方法，通过知识蒸馏和参数细调，解决了域自适应中的遗忘、差异和模型爆炸等问题，从而达到了在通用域和特定域翻译中都取得显著提高的目的。

Mar, 2021

通过多阶段逐步微调的方式，不需要改变模型或学习目标，可以显著提高自然语言处理模型在目标领域的适应能力。

Mar, 2021

本文提出了一种高效且通用的基于领域的前缀微调模型，利用领域词初始化前缀模块以减轻领域交错，采用离散提示来引导模型关注对话的关键内容并增强模型的泛化能力。我们在 TODSum 和 QMSum 数据集上进行了零 - shot 实验，并构建了领域自适应基准。充分的实验和定性分析证明了我们方法的有效性。

Apr, 2022

本论文研究在 NLP 领域中，对预训练的 Transformers 模型采取稀疏剪枝 (sparse pruning) 技术，相较于对其通道与层数的压缩，稀疏剪枝的效果更为显著。通过基于 GLUE 数据集的实验比较，证明本论文所采用的知识感知的稀疏剪枝方法可以实现 20 倍的参数 / FLOPs 压缩并且不会明显损失模型的性能。

Apr, 2021

本文提出了一种新颖的领域自适应方法 ——“混合微调”，用于神经机器翻译。该方法将微调和多领域 NMT 两种现有方法相结合，并在一个混合了内外领域语料库的平行语料库上对 NMT 模型进行微调，然后通过增加人工标记来指示特定领域对所有语料库进行增强。我们在实证基础上比较了我们的方法与微调和多领域方法，讨论了它的优点和缺点。

Jan, 2017

本文提出了一种方法，旨在解决连续学习中的无监督域适应问题，通过修剪实现框架来保留特定于域的知识，并使用一种基于批次标准化的度量方法进行有效推理，取得了良好的性能，同时在防止过去领域的灾难性遗忘方面显著改善。

Apr, 2023

本研究提出了一种基于卷积神经网络的精调和压缩方法，旨在同时克服细调和修剪在参数空间上的问题，实验结果显示该方法在两个特殊图像领域有效。

Jul, 2017

本文提出了一种名为 TransTailor 的针对预训练模型的剪枝方法，通过根据目标权重重要性修剪和微调预训练模型，生成一个适用于特定目标任务的最优子模型，以获得更好的迁移学习性能。实验结果表明，TransTailor 可以在使用更小的模型时，优于传统剪枝方法以及其他最先进的迁移学习方法，特别是在 Stanford Dogs 数据集上，TransTailor 的准确度提高了 2.7%。

Mar, 2021

本研究针对 pretrain-and-finetune 模式下的 transformer-based 语言模型，提出了一个新的剪枝策略，即基于误差边界的渐进式知识蒸馏，试图通过减少过拟合的风险来提高模型剪枝的效率，结果表明我们的方法在 GLUE 测试集中表现优于竞争对手。

Oct, 2021

本研究探讨了神经机器翻译的监督域自适应技术，针对现有模型在大型非领域数据集训练后，如何适应小型领域数据集所出现的过拟合问题。在整个过程中，正则化技术，如 dropout 和 L2 正则化与非领域先验之间的关系得到了深入研究。此外，文章提出了一种新型的正则化技术 ——tuneout，即启发式 dropout。我们将这些技术单独或结合应用于神经机器翻译，以英语 -> 德语、英语 -> 俄语的 IWSLT 数据集为例取得了改进。此外，我们还研究了 NMT 领域中所需的领域内训练数据量，并发现培训数据与 BLEU 分数之间存在对数关系。

Jul, 2017