Dec, 2023

基于上下文学习的重新思考对齐的解锁咒语

PDF
TL;DR通过对基于 SFT 和 RLHF 的对齐方法的分析，我们发现通过 ICL 方法 URIAL，使得基于语言模型的对齐方法不再需要 SFT 或 RLHF 来实现高效对齐，并且实验证明 URIAL 的性能与基于 SFT 或 SFT+RLHF 的方法相媲美甚至更优。这些结果表明，对于未来的 LLM 研究来说，更深入的对齐分析和理论理解至关重要。
alignment tuninglarge language modelssftrlhfurial
发现论文，激发创造
  • 在 LLM 中，上下文学习是否足够用于指令遵循？

    通过对长文本 LLMs 进行多个 in-context 学习示例的贪婪选择，我们改进了 ICL 与 URIAL 的对齐效果，但仍未消除与指令微调之间的差距，进一步的削减研究揭示了 ICL 在指令调整的环境中的特殊性，从而推进了对 ICL 作为对齐技术的理解。

    May, 2024

  • 对大型语言模型进行少样本多语言 NLU 分析与适应：如今已经达到目标了吗？

    三种常用方法，即监督微调、监督指令微调和上下文学习，是少样本学习的三种替代方法。本文对这三种方法进行了广泛而系统的比较，测试了六种高低资源语言、三种不同的 NLU 任务以及各种语言和领域设置。观察结果显示，监督指令微调在性能和资源需求方面具有最佳平衡性。此外，本文还分析了预训练 LLM 的目标语言适应性，并发现标准适应方法能在表面上提高目标语言生成能力，但经 ICL 引发的语言理解并未改善且受限，尤其是对于低资源语言而言，得分较低。

    Mar, 2024

  • Instruct-Align：基于对齐的跨语言教学，教授 LLMs 的新语言

    本研究提出了 Instruct-Align 框架，通过对称对齐方法的跨语言指导调整，使大语言模型 (LLMs) 能够有效地学习新语言，同时通过经验重现防止灾难性遗忘，并能将低资源语言纳入到现有的 LLMs 中。

    May, 2023

  • 上下文对齐能走多远？探索上下文对齐的现状

    通过分析 In-Context Alignment（ICA）的机制和适用性，本研究发现示例部分对提升模型对齐能力至关重要，同时还评估了 ICA 在不同对齐任务中的零 - shot 能力，结果显示相较于参数微调方法，ICA 在基于知识和工具应用任务上表现出更好的性能，然而在多轮对话和按指示执行任务方面仍存在某些局限性。

    Jun, 2024

  • 参数高效偏好对齐技术的深入探讨

    对大型语言模型（LLM）的先前训练和参数微调的对齐方法进行了深入研究，研究了对齐数据集、对齐技术和模型对下游性能的影响，提出了帮助研究人员进行更有效参数节约 LLM 对齐的关键指南。

    Jun, 2024

  • 通过双向对齐改善上下文学习

    大型语言模型通过在上下文中学习（ICL）在许多任务上展示了令人印象深刻的少量样本泛化能力。本研究提出了双向对齐（BiAlign）方法，旨在充分利用模型对 ICL 示例的偏好，提高较小模型的 ICL 能力。通过与大型模型的输入偏好对齐，同时对齐令牌级别的输出分布，BiAlign 在语言理解、推理和编码等各种任务中超过了现有基准。

    Dec, 2023

  • 上下文指导学习

    本文发现采用上下文学习作为指示学习方法（ICIL）可提高预训练和指示微调模型的零样本任务泛化能力，使用固定的单一提示来评估所有任务。

    Feb, 2023

  • 从分布到 Overton 多元主义：研究大型语言模型的对齐问题

    对语言模型执行对齐过程会改变其输出分布的多个属性。研究分析了语言模型响应的对齐后分布漂移的两个方面，发现对齐过程抑制了无关和无用的内容，将输出分布转向覆盖基础语言模型中多个响应的信息，从而在单个响应中提供多样化的信息。此外，研究还表明基础模型可以通过上下文示例和低分辨率的语义提示来产生与对齐模型相似的响应，进一步证明了对齐技术对基础语言模型的有用行为进行了捕捉，切实模拟了对齐后的语言模型响应，而无需进行精细调整。

    Jun, 2024

  • FIAT: 融合学习范式和加速调优的指令

    使用两种学习模式，即上下文学习（ICL）和完全微调，以及一种新的学习范式 FIAT，该范式将二者结合起来，使得在使用最大尺寸模型的同时，可以进行快速引擎指令和思维链推理，并利用类似方法对规模适度的 LLM 进行参数更新。我们发现，FIAT 在各种多语言任务上的表现优于 ICL 和完全微调，训练样本范围为 100-10,000。希望 FIAT 为充分发挥 LLMs 的潜力提供了一种实用的方式，无需在学习范式之间进行困难选择。

    Sep, 2023

  • 指令调整将 LLMs 对齐到人脑

    指导调优对大型语言模型（LLMs）进行调优的普遍方法，能够使其生成更接近自然语言查询的人类响应的输出，在许多情况下在各种测试中实现人类水平的性能。然而，指导调优是否真正使 LLMs 更加与人类处理语言的方式相似仍不清楚。我们通过两种方式研究指导调优对 LLM-human 相似性的影响：(1) 大脑对齐，即 LLM 内部表示与人类语言系统的神经活动相似度，(2) 行为对齐，即 LLM 和人类在阅读任务上的行为相似度。我们评估了 25 个原始版本和经过指导调优的 LLMs 在涉及人类阅读自然故事和句子的三个数据集上的表现。我们发现指导调优通常使大脑对齐提高了平均 6％，但对行为对齐没有类似效果。为了确定影响 LLM-brain 对齐的因素，我们计算了 LLMs 的大脑对齐与各种模型特性之间的相关性，如模型大小、各种问题解决能力和需要跨各种领域的世界知识的任务的性能。值得注意的是，我们发现大脑对齐和模型大小（r = 0.95）以及需要世界知识的任务的表现（r = 0.81）之间存在强正相关。我们的结果表明，指导调优 LLMs 可以改善世界知识表示和大脑对齐，这表明在 LLMs 中编码世界知识的机制也可以改善与人类大脑的表征对齐。

    Dec, 2023