Jul, 2024

分析干向量的泛化和可靠性 - ICML 2024

HTML
PDF
TL;DR通过干预中间模型激活来有效调整语言模型行为的截向矢量（Steering Vectors）是一种新的方法，但其可靠性和泛化属性尚不明确。我们对这些属性进行了严格的研究，发现截向矢量在分布内外都存在重大限制，并且在某些概念上对输入的每个有效性具有显著的变异性，这给广泛使用截向矢量带来了挑战。总体而言，我们的发现表明，尽管截向矢量在适当的环境下可以发挥作用，但在规模应用中应用截向矢量来指导模型行为仍存在许多技术难题。
发现论文，激发创造
  • 从预训练语言模型中提取潜在的操纵向量

    本研究提出一种新的控制文本生成方式，在不进行优化的情况下直接从预训练的语言模型解码器提取潜在向量。实验证明存在可用于控制的方向向量，并且可以用于 YELP 情感基准测试和文本相似性基准测试，反映句子的相似性。

    May, 2022

  • 用均值居中改进语言模型中的激活引导

    通过应用均值中心化的思想，我们发现将与目标数据集相关的激活平均值减去所有训练激活的均值，可以得到有效的转向向量，这在广泛的上下文中可以轻松改善激活转向的有效性。

    Dec, 2023

  • 扩展激活引导至广泛技能和多重行为

    目前的大型语言模型具有危险的能力，这些能力在将来可能变得更加问题。激活引导技术可以用来减少这些能力带来的风险。本文通过调查激活引导在广泛技能和多种行为方面的功效，首先比较了减少整体编码能力和Python特定能力对绩效的影响，发现调整更广泛的技能与调整更狭窄的技能具有竞争力；其次，我们引导模型变得更加短视和追逐财富等其他行为。在我们的实验中，将多种行为的调整向量合并为一个调整向量的方法基本上不成功。另一方面，同时在模型的不同位置插入个别的调整向量是有前景的。

    Mar, 2024

  • 大型语言模型的因果可解释弹道

    LLMGuardaril是一个新型的框架，结合因果分析和对抗学习，以获取大型语言模型中的无偏导向表示，从而将其引导到预期的属性，同时减少偏见。

    May, 2024

  • 大型语言模型的个性化引导：通过双向偏好优化实现多功能引导向量

    通过双向偏好优化来产生更有效的转向向量，从而在多种开放生成任务中实现个性化控制，并在关键对齐场景中展示出卓越的转向效果以及多个向量同时应用时的协同效益。

    May, 2024

  • 揭示语言模型中的潜在思维链向量

    本研究解决了在语言模型中引导积极行为的难题，通过引入“引导向量”技术来推动模型进行链式思维推理，而无需自然语言提示。我们在Llama3 8b和Mistral 7b v0.2上验证了这一方法，结果显示与传统链式思维提示相比，该方法在多项推理基准测试中表现出色，且计算需求更低。

    Sep, 2024

  • 面向大型语言模型的推理时类别安全引导

    本研究解决了大型语言模型（LLMs）在安全对齐方面的不足，通过推理时的方法进行安全引导。论文提出了一种新颖的方法，通过类别特定的引导向量实现更精细的控制，并开发出提取有效引导向量的复杂技术，从而在确保文本质量的同时，增强模型输出的安全性。研究结果表明，该方法在多个LLM和数据集上均取得了显著效果，对未来的安全引导研究具有重要意义。

    Oct, 2024

  • 超越单一概念向量：在大型语言模型中用高斯分布建模概念子空间

    本研究解决了大型语言模型中概念表示不稳定的问题，提出了一种用高斯概念子空间近似特定概念的方法。通过对多个不同规模和架构的模型进行实验，我们证明了这种方法在保持自然语言生成流畅性的同时，可以有效地提升情感引导等实际应用中的表现。

    Sep, 2024

  • 激活缩放用于引导和解释语言模型

    本研究解决了如何通过乘以相关激活向量的标量，干预语言模型的预测以从不正确的"法国"转变为正确的"意大利"的问题。提出的激活缩放方法在实现高效、可解释的干预时，能够有效翻转预测并保持其他词的稳定性，其最显著发现是该方法在合成任务上展现出与传统引导向量相媲美的效果，同时具备更好的最小性，使得模型组件可解释化。

    Oct, 2024

  • 通过激活引导改善语言模型的指令跟随能力

    本研究解决了语言模型在实际应用中的指令跟随能力不足的问题。研究提出了一种从语言模型中提取特定指令向量的方法，以增强模型对指令的遵循，并展示了在推理时控制输出格式、长度等约束的能力。实验结果表明，该方法在没有明确指令的情况下也能使模型更好地遵循约束，并在有指令时提高了性能，具有显著的潜在影响。

    Oct, 2024