EMNLPNov, 2023

主动指令调整：通过对响应敏感任务进行训练来改善跨任务泛化能力

PDF
TL;DR通过基于提示不确定性的主动指导调整，本研究提出了一种新颖的框架来识别信息量大的任务，并在所选任务上主动调整模型，实验表明该方法在任务选择方面优于其他基准策略，并通过更少的训练任务实现了更好的超出分布的泛化性能。
instruction tuningtask selectionactive instruction tuningprompt uncertaintytask map
发现论文，激发创造
  • 模型是否真的学会遵循指令？一项关于指令调整的经验研究

    本文分析了模型在指令调优过程中如何利用指令，并对比了模型在不同指令下的表现。结果显示，指令调优的表现提升可以来自学习表面模式，例如识别输出格式和猜测。因此，本研究提出了迫切需要更加可靠的指令调优方法和评估。

    May, 2023

  • 指导事项对于特定任务的指导调优中的简单而有效的任务选择方法

    指导调优通过仅利用指导信息来识别相关任务，并另外学习元数据集的独特指导模板风格，提高任务选择准确性，从而改进了性能。

    Apr, 2024

  • 使用未标记数据学习指令，以实现零样本跨任务泛化

    本文提出了 Unlabeled Data Augmented Instruction Tuning (UDIT) 算法，通过使用未标注的文本数据构建伪标注数据，以更好地利用指令来提高指令微调的性能，实验结果表明 UDIT 在不同场景下都具有较好的效果。

    Oct, 2022

  • 大型语言模型的指导调整：一项调研

    对于指令调优（IT）领域的研究进行了概述，它是增强和可控大型语言模型（LLMs）能力的关键技术。该研究系统回顾了 IT 的一般方法论、IT 数据集的构建、IT 模型的训练以及不同模态、领域和应用的应用，并分析了影响 IT 结果的因素（例如，指令输出的生成、指令数据集的大小等）。还审查了 IT 存在的潜在问题以及对其的批评，指出了现有策略的不足之处，并提出了一些有益的研究方向。

    Aug, 2023

  • 对比教学调节

    指令调优是一种改善大型语言模型对未知任务性能的有前途的方法。然而，当前的大型语言模型在面对未知指令时表现出有限的稳健性，当相同的指令以稍微变形或语言风格变化的形式表达时会生成不一致的输出。这种行为表明大型语言模型对文本变化的稳健性和对未见指令的泛化能力存在缺陷，可能引发不可靠性问题。基于此，我们提出了对比指令调优，该方法通过最大化语义上等效的指令实例对的隐藏表示之间的相似性，最小化不同语义的实例对之间的相似性。为了促进这一方法，我们通过改写任务指令来扩充现有的 FLAN 集合。在 PromptBench 基准测试上的实验证明，对比指令调优（CoIN）能够使大型语言模型在字符、词、句子和语义级别上对未知指令的稳健性得到持续提升，平均准确率提高了 2.5%。

    Feb, 2024

  • 预训练语言模型的实例级提示调整

    本文提出了 Instance-wise Prompt Tuning （IPT）方法，该方法是基于 Prompt Learning 的新型范式，利用输入数据实例注入知识来生成更富有信息量和具体的上下文信息，并在多个任务和资源设置中显着优于任务为基础的 Prompt Learning 方法，达到仅有 0.5％-1.5％调整参数时的基准微调性能。

    Jun, 2022

  • 贝叶斯多任务转移学习用于软提示调优

    我们提出了一种贝叶斯多任务迁移学习方法，通过后验分布的样本获得代表性的源提示，并将其聚合以构成初始目标提示，无需辅助模型，实现高度参数效率。

    Feb, 2024

  • 上下文学习如何帮助提示调整？

    该研究通过实验测量了几种不同的文本生成任务原始模型的表现，对比分析了几种参数有效的适应方法（如提示调整、上下文学习和指导性提示调整），并通过 IPT 探究了这些方法之间的交互作用和优缺点。

    Feb, 2023

  • 大型语言模型的指令调优中的零 - shot 跨语言转移

    在多语种环境下，我们对指令调优进行了系统研究，发现跨语言转移成功的关键在于超参数调整和足够的训练数据，虽然英文训练的大型语言模型能够生成其他语言的正确、全面和有帮助的回答，但其可信度较低且可能偶尔出现流畅性错误。

    Feb, 2024

  • 评估语言模型的零样本鲁棒性

    本研究提出了一种简单的方法来提高指导微调模型的鲁棒性，即通过引入 “软提示” 嵌入参数并优化这些参数来最大化语义等效说明的表示之间的相似性。

    Jun, 2023