指导调优通过仅利用指导信息来识别相关任务，并另外学习元数据集的独特指导模板风格，提高任务选择准确性，从而改进了性能。
Apr, 2024
本文提出了一种基于贝叶斯推理的方法，在低级别数据的情况下学习维度高、SCM 结构和参数未知的高级因果变量，从而实现对潜在 SCM 的推断和图像生成。
Oct, 2022
本文研究指令优化对增强模型转移学习和增强其在不同自然语言处理任务方面的效果，并表明在使用指令的预微调下，模型在单任务和多任务方面的性能都得到了提高。
May, 2023
指令调优是一种改善大型语言模型对未知任务性能的有前途的方法。然而，当前的大型语言模型在面对未知指令时表现出有限的稳健性，当相同的指令以稍微变形或语言风格变化的形式表达时会生成不一致的输出。这种行为表明大型语言模型对文本变化的稳健性和对未见指令的泛化能力存在缺陷，可能引发不可靠性问题。基于此，我们提出了对比指令调优，该方法通过最大化语义上等效的指令实例对的隐藏表示之间的相似性，最小化不同语义的实例对之间的相似性。为了促进这一方法，我们通过改写任务指令来扩充现有的 FLAN 集合。在 PromptBench 基准测试上的实验证明，对比指令调优（CoIN）能够使大型语言模型在字符、词、句子和语义级别上对未知指令的稳健性得到持续提升，平均准确率提高了 2.5%。
Feb, 2024
通过结构因果模型分析任务中的潜在因素，并提出一种基于因果关系的元学习方法 MetaCRL 来消除任务中的混淆因素，从而提高元学习的泛化性能。
Dec, 2023
本文分析了模型在指令调优过程中如何利用指令，并对比了模型在不同指令下的表现。结果显示，指令调优的表现提升可以来自学习表面模式，例如识别输出格式和猜测。因此，本研究提出了迫切需要更加可靠的指令调优方法和评估。
应用结构化认知学习方法于现代大型语言模型的指令调优，通过提供高度结构化合成数据集，模仿人类教育的渐进和有组织性，可以显著提升语言模型在理解和响应复杂指令和任务方面的能力。
Oct, 2023
说明指令调整对模型的一致性有积极影响，提高了零样本性能、思维连贯性和价值对齐，并通过对事实记忆的机制分析解释了这些改进。
本文提出利用深度学习 NLP 模型的解释性和去除数据中虚假相关性的方法，即影响调整，该方法通过调整模型参数并学习任务标签预测，来降低数据中的混杂特征，可以显著地胜过对抗训练等基础方法。
Oct, 2021
通过引入结构因果模型 (SCM) 从而诱导总结数据的潜在因果结构，我们提出了一种因果启发式序列到序列模型 (CI-Seq2Seq) 来学习可以模拟因果因素的因果表示，以引导我们获取总结生成的因果信息。在两个广泛使用的文本总结数据集上的实验结果证明了我们方法的优势。
Aug, 2023