本研究提出了一种针对领域自适应问题的新型表示学习算法, 其中训练和测试数据来自类似但不同的分布, 实验结果表明，我们的神经网络算法对领域适应具有更好的性能表现，而不管是标准神经网络还是支持向量机，即使是使用 Chen 等人提出的最先进的边缘化堆栈去噪自编码器的输入特征提取。

Dec, 2014

本文旨在比较不同的正则化策略，以解决嵌入式神经网络在NLP中严重过拟合的现象。研究着重于超参数调整和组合不同的正则化策略，结果提供了神经NLP模型的超参数调整图片。

Aug, 2015

本研究探讨了神经机器翻译的监督域自适应技术，针对现有模型在大型非领域数据集训练后，如何适应小型领域数据集所出现的过拟合问题。在整个过程中，正则化技术，如dropout和L2正则化与非领域先验之间的关系得到了深入研究。此外，文章提出了一种新型的正则化技术——tuneout，即启发式dropout。我们将这些技术单独或结合应用于神经机器翻译，以英语->德语、英语->俄语的IWSLT数据集为例取得了改进。此外，我们还研究了NMT领域中所需的领域内训练数据量，并发现培训数据与BLEU分数之间存在对数关系。

Jul, 2017

本文提出了一种基于结构化神经模型与领域特定和领域通用组件的联合学习以及领域对抗训练的方法，以优化域内和域外准确性，本方法在多领域语言识别和情感分析领域中的表现都优于标准领域适应技术和领域对抗培训。

May, 2018

本文提出一种基于Bregman的Trust-Region优化的平滑正则化框架，用于更加有效地对预训练语言模型进行微调，避免过拟合和知识遗忘，通过实验表明在多项NLP benchmarks上达到了最新的性能水平。

Nov, 2019

研究发现，预训练的转换语言模型在很多NLP任务上表现出色；然而，这些模型在短语级别的表示中，除了词汇内容外，缺乏复杂的组合短语信息，进一步的fine-tuning只能在情感任务中局部提高性能，而在重新释义任务中则由于数据集中可能存在干扰信号的原因而不能提供改进。

May, 2021

该研究提出了一种正则化Transformer-based编码器fine-tuning用于文本分类任务的通用方法，并通过对干净和对抗性示例的对比学习来实现噪声不变表示，从而得到更好的文本分类效果。

Jul, 2021

针对预训练语言模型的敌对性攻击，提出了一种基于信息理论的对抗性微调方法（Robust Informative Fine-Tuning），强制模型在整个微调过程中保留预训练模型所学习的特征，并在情感分析和自然语言推理等多种NLP任务中的各种攻击中显著优于现有技术。

Dec, 2021

本文提出了一种名为LNSR的fine-tuning框架，通过注入高斯噪声或浸入式噪声，对fine-tuned模型的隐藏表示进行规范化，以解决预训练语言模型的过拟合问题，并证明其在question answering task方面具有优越性。

Jun, 2022

使用对抗微调的新型双阶段优化技术解决大型语言模型中意外有害内容生成的挑战，并通过分类准确性评估方法展示了优化过程中，判断模型在具有挑战性的数据集上的性能提升。

Aug, 2023