ACLFeb, 2024

用于引导生成式大型语言模型的风格向量

PDF
TL;DR本研究通过在文本生成过程中向隐藏层的激活添加风格向量，探索将大型语言模型 (LLMs) 的输出引导到特定风格 (如情感、情绪或写作风格) 的策略。通过一系列实验，我们展示了使用这种风格向量进行激活工程对生成文本的风格产生影响的有效性和可调节性，使其与提示工程相区别，从而促进了更具适应性和有效性的 AI 增强交互系统的发展。
发现论文，激发创造
  • 大型语言模型的个性化引导：通过双向偏好优化实现多功能引导向量

    通过双向偏好优化来产生更有效的转向向量，从而在多种开放生成任务中实现个性化控制，并在关键对齐场景中展示出卓越的转向效果以及多个向量同时应用时的协同效益。

    May, 2024

  • 从预训练语言模型中提取潜在的操纵向量

    本研究提出一种新的控制文本生成方式，在不进行优化的情况下直接从预训练的语言模型解码器提取潜在向量。实验证明存在可用于控制的方向向量，并且可以用于 YELP 情感基准测试和文本相似性基准测试，反映句子的相似性。

    May, 2022

  • 用均值居中改进语言模型中的激活引导

    通过应用均值中心化的思想，我们发现将与目标数据集相关的激活平均值减去所有训练激活的均值，可以得到有效的转向向量，这在广泛的上下文中可以轻松改善激活转向的有效性。

    Dec, 2023

  • 激活增加：不经优化的引导语言模型

    控制大型语言模型行为的问题已成为紧迫的开放问题。在本文中，我们提出了一种称为 Activation Addition (ActAdd) 的方法，通过在推理过程中修改激活来可预测地改变模型行为，并展示了其在 GPT-2 上的应用，以及其与微调或强化学习从人类反馈中得到控制的方法相比所需的计算量和实施工作的差异。

    Aug, 2023

  • 神经响应生成中的输出风格和主题控制

    本文提出了神经编码器 - 解码器的语言生成模型中对输出风格和主题进行干预的简单灵活的训练和解码方法，通过基于选择性采样的解码方法和遵循性模型将神经生成过程分解为易于实现的子问题，同时通过一定限制方式和主题限制进行生成，该方法在人机交互任务中的表现不会降低输出质量。

    Sep, 2017

  • 将风格化的词汇偏好纳入生成式语言模型中

    本研究采用强化学习框架，结合基于 transformer 的语言模型的生成能力，通过引入作者的多维词汇偏好，成功地实现一定目标作者属性的诱导，并展示了该方法的优越性。

    Oct, 2020

  • 扩展激活引导至广泛技能和多重行为

    目前的大型语言模型具有危险的能力，这些能力在将来可能变得更加问题。激活引导技术可以用来减少这些能力带来的风险。本文通过调查激活引导在广泛技能和多种行为方面的功效，首先比较了减少整体编码能力和 Python 特定能力对绩效的影响，发现调整更广泛的技能与调整更狭窄的技能具有竞争力；其次，我们引导模型变得更加短视和追逐财富等其他行为。在我们的实验中，将多种行为的调整向量合并为一个调整向量的方法基本上不成功。另一方面，同时在模型的不同位置插入个别的调整向量是有前景的。

    Mar, 2024

  • 利用动态激活组合对大型语言模型进行多属性调控

    本研究评估了不同的激活导向策略，并提出了动态激活组合方法，以确保在生成过程中实现高度的条件控制同时最小化对生成流畅性的影响。

    Jun, 2024

  • 用神经自然语言生成器控制基于个性的风格变化

    本文探讨了自然语言生成在任务导向对话中的应用，提出了三种序列到序列模型，并考虑如何实现内容和风格的分离，通过控制 36 个风格参数，实现对语义和风格的高度还原。

    May, 2018

  • 代码语言模型中强化的类型预测激活控制

    通过激活控制技术，我们可以提高编程预训练模型的鲁棒性，使其在语法上更加灵活，进而提高类型预测的准确性，并揭示了预训练模型可能在不同编程语言之间进行类型知识迁移的可能性。

    Apr, 2024