Oct, 2024

通过激活引导改善语言模型的指令跟随能力

HTML
PDF
TL;DR本研究解决了语言模型在实际应用中的指令跟随能力不足的问题。研究提出了一种从语言模型中提取特定指令向量的方法，以增强模型对指令的遵循，并展示了在推理时控制输出格式、长度等约束的能力。实验结果表明，该方法在没有明确指令的情况下也能使模型更好地遵循约束，并在有指令时提高了性能，具有显著的潜在影响。
发现论文，激发创造
  • 指令归纳：从少量样本到自然语言任务描述

    该研究论文证明使用in-context learning可让大型语言模型显式推断潜在任务，通过自然语言生成指令，InstructGPT 的表现达到了人类的65.7％，建议指令感应可能是一种学习范例。

    May, 2022

  • 自我指导: 用自动生成的指令对齐语言模型

    使用Self-Instruct框架，可以将预训练模型与指令对齐，提高模型的指令遵循能力，无需过多人为指令数据，可用于finetuning，大大提高了模型的通用性。

    Dec, 2022

  • 指导性调整的模型具有快速学习能力

    本文研究指令优化对增强模型转移学习和增强其在不同自然语言处理任务方面的效果，并表明在使用指令的预微调下，模型在单任务和多任务方面的性能都得到了提高。

    May, 2023

  • 评估语言模型的零样本鲁棒性

    本研究提出了一种简单的方法来提高指导微调模型的鲁棒性，即通过引入“软提示”嵌入参数并优化这些参数来最大化语义等效说明的表示之间的相似性。

    Jun, 2023

  • 激活增加：不经优化的引导语言模型

    控制大型语言模型行为的问题已成为紧迫的开放问题。在本文中，我们提出了一种称为Activation Addition (ActAdd)的方法，通过在推理过程中修改激活来可预测地改变模型行为，并展示了其在GPT-2上的应用，以及其与微调或强化学习从人类反馈中得到控制的方法相比所需的计算量和实施工作的差异。

    Aug, 2023

  • 从语言建模到指令遵循：理解指令调优后LLMs的行为转变

    通过本研究，我们发现指导微调对大型语言模型产生了三个重要影响，包括了对指令识别的加强、对知识存储层次的对齐以及对单词关系学习的促进。这些发现有助于更深入地理解指导微调对大型语言模型行为变化的影响，并为未来解释和优化这些模型以适用于不同应用领域的研究打下了基础。

    Sep, 2023

  • 优化和测试指令追踪：分析对指令化调整的语言模型的细粒度指令变种的影响

    介绍了一种有效的数据增强技术，通过将复杂指令分解为简单的子组件、修改并重构它们为新的变体，以在训练和评估大型语言模型的指令追踪精度时保留原始指令的上下文和复杂性，并引入可变性。使用该方法开发了DeMoRecon数据集来精细调整和评估大型语言模型，在我们的指令追踪基准和常用基准上，发现使用DeMoRecon进行精细调整的大型语言模型性能显著提升。

    Jun, 2024

  • 利用动态激活组合对大型语言模型进行多属性调控

    本研究评估了不同的激活导向策略，并提出了动态激活组合方法，以确保在生成过程中实现高度的条件控制同时最小化对生成流畅性的影响。

    Jun, 2024

  • 无需指令调优的指令跟随

    本研究解决了在语言模型指令跟随过程中依赖于指令响应对的不足问题。通过提出新的隐式指令调优方法，发现仅通过响应训练模型仍能实现指令跟随，且在不同领域的训练中，模型能够展现出广泛的指令遵循行为。研究表明，简单调整语言模型的分布即可实现指令跟随，为未来模型适应性发展提供了新视角。

    Sep, 2024

  • 激活缩放用于引导和解释语言模型

    本研究解决了如何通过乘以相关激活向量的标量，干预语言模型的预测以从不正确的"法国"转变为正确的"意大利"的问题。提出的激活缩放方法在实现高效、可解释的干预时，能够有效翻转预测并保持其他词的稳定性，其最显著发现是该方法在合成任务上展现出与传统引导向量相媲美的效果，同时具备更好的最小性，使得模型组件可解释化。

    Oct, 2024