微调语言模型会在特定任务上产生性能提升，但对其他任务可能造成能力抑制。为了恢复预训练能力，通过对任务进行翻译使其远离语言模型微调分布，发现可以恢复上下文学习能力，并使聊天机器人生成有害内容。

Sep, 2023

本文研究对先前已经预训练好的 Bert、RoBERTa 和 XLNet 等神经语言模型通过微调来改进下游自然语言处理任务的表现，并使用层级和神经元级别的诊断分类器来检查这些模型的语言知识的学习方式，发现这些模型对于不同的任务有不同的语言知识保留或遗忘方式，这种模式在三个模型中都有所不同。

May, 2021

本文探究了神经语言模型（NLM）在调整细节后所学习到的语言知识及其对于多种分类问题的预测影响，结合多重探测任务发现，尽管 BERT 能够编码多种语言特征，但在特定的下游任务训练后往往导致相关信息丢失，而 BERT 对于不同语言属性的编码能力将正面影响它的预测能力。

Oct, 2020

本文探讨了将预训练的编码 - 解码模型（特别是 T5）与语言知识相结合用于预测目标任务时的影响。我们研究了在预测句子的结构语言属性的中间任务上微调 T5 模型是否会改变其在预测句子级复杂性目标任务上的性能。我们的研究包括在意大利语和英语数据集上进行的各种实验，使用了单语和多语 T5 模型以及不同尺寸的模型。无论是在两种语言还是在跨语言配置中，结果表明，从语言学角度出发的中间微调通常对目标任务的性能有积极影响，特别是在模型较小且数据有限的情况下。

Feb, 2024

通过检验三种认知偏见（假象效应、确定性效应和信仰偏误）在经过指导调优的语言模型中的存在程度，我们的研究提供了证据表明，这些经过调优的模型表现出过去预训练模型中不存在或较不明显的偏见，进一步突出了这些偏见存在于各种模型中的事实，特别是那些经过指导调优的模型，如 Flan-T5，GPT3.5 和 GPT4，这一研究对认识指导调优的语言模型中的认知偏见是至关重要的，从而对更可靠、无偏的语言模型的发展具有重要意义。

Aug, 2023

通过控制实验，我们发现大型语言模型在自我监督预训练和强化学习微调阶段对于特征提取的归纳偏好在一定程度上一致，并且这些偏好与特征的利用程度和重要性具有显著相关性。

Nov, 2023

本研究旨在探讨大型语言模型是否能够成为认知模型，并发现通过在心理实验数据上微调这些模型，它们能够提供准确的人类行为表示，甚至在两个决策制定领域中表现比传统的认知模型更好。此外，我们展示了它们的表示含有模拟个体受试者行为所需的信息，并演示了在多个任务上进行微调的能力使得大型模型能够预测以前从未见过的任务中人类行为，这表明预先训练的大型模型可以被改进为通用认知模型，从而开辟了颠覆认知心理学和行为科学的新研究方向。

Jun, 2023

使用神经语言模型对人类行为进行建模在研究中获得了不同的结果。本文通过在 BabyLM 挑战中使用更贴近发展的数据集来探索实证数据和模型预测行为之间的不匹配程度。通过对 BabyLM 的数据集进行师生训练和课程设计，研究发现，虽然这种改进使得模型更容易从训练数据中获取语言知识，但并未导致模型对人类阅读行为的预测与之更加一致，这表明仅仅在发展上合理的数据集上训练模型可能不足以准确预测人类语言处理。

Nov, 2023

本文提出了一种新的方法，通过训练步骤来鼓励神经机器翻译满足词汇约束，其主要包括训练数据扩充、约束词汇掩码和交叉熵损失函数修改三个方面，实验表明该方法在 BLEU 分数和生成约束词汇的数量方面均优于其他算法。

Jun, 2021

本文分析了多语言预训练语言模型的微调过程，找出性能差距何时发生以及哪些网络权重对整体性能影响最大，并提出一种名为 Fine-tuning slow and fast 的方法来解决这些问题，实验结果表明该方法优于基准方法。

May, 2023