识别和操控语言模型的人格特质
本文探讨了使用心理测量测试来量化和分析大型语言模型输出中的人格特质的可靠性和有效性,并讨论了如何对这些模型进行塑造的潜在应用和伦理影响,特别是关于负责任地使用 LLM。
Jul, 2023
研究表明,大规模语言模型虽然可以输出流畅的文本,但它们也捕捉到人类偏见。本文研究了面向开放式文本生成的几种大规模语言模型的人格特征和训练集,使用问卷设计了人格评估,并用零 - shot 分类器将文本回答分类到可量化的特征中,研究了可以改变这些人格特征的方法。
Apr, 2022
本文通过用自我报告问卷(BFI)评估和语言分析等方法,在大型语言模型(LLMs)中针对五个人格特质类型和性别角色实验性地生成了 320 种 LLM 角色,研究 LLM 角色生成的内容是否优点定制的特质,并对其可应用于人工智能会话的前景进行了展望。
May, 2023
借助不同输入提示,使用多个参数大小的多个大型语言模型对它们的输出进行了评估,结果显示,大型语言模型普遍表现出高度的开放性和低度的外向性,且参数越多越倾向于开放性和责任心,并且在不同数据集上对细调模型产生了微小的调整
Feb, 2024
利用大型语言模型(LLMs)如 ChatGPT 从用户的数字足迹中推断个体的心理特征,研究发现 GPT-3.5 和 GPT-4 可以在零样本学习情景下从用户的 Facebook 状态更新中推导出五大人格特征,但结果显示推断得分与自我报告的特征分数之间的平均相关性为 r = .29(范围 =[.22, .33]),并且推断的人格特征存在性别和年龄方面的偏差。
Sep, 2023
该论文介绍了一项创新任务,旨在编辑大语言模型(LLMs)的个性特征。通过调整模型对指定主题的观点相关问题的回答,以反映不同的个性特征。作者构建了一个新的基准数据集 PersonalityEdit 来解决这个任务,并进行了综合实验,揭示了这个任务的潜在挑战和未解决的问题。
Oct, 2023
本文介绍基于语言使用进行人格预测的交叉性研究,报道了用于文本数据的最全面的心理语言学特征和混合模型的两个主要改进,实验结果表明,这些模型优于同一数据集上的现有工作,并通过对心理语言学特征的不同类别进行消融实验来量化其影响。
Apr, 2022
对 Llama2、GPT4 和 Mixtral 等大型语言模型对五大人格特质进行仿真的实证研究,分析了这些模型所模拟的人格特质及其稳定性,这有助于更深入地了解 LLMs 模拟人格特质的能力以及对个性化人机交互的影响。
Jan, 2024
本研究探讨了大型语言模型(LLMs)从自由交互中推断五大人格特质的能力。结果表明,由 GPT-4 驱动的聊天机器人可以以适度的准确性推断人格,优于从静态文本内容中推断的先前方法。推断的准确性在不同的对话环境下有所变化。当聊天机器人被要求引出与个性相关的信息时,性能最高(平均 r=.443,范围 =[.245, .640]),其次是强调自然互动的条件(平均 r=.218,范围 =[.066, .373])。值得注意的是,在直接关注个性评估的条件下,用户体验并未降低,参与者报告两种条件下的交互同样自然、愉快、吸引人和类似人类。一个模仿 ChatGPT 作为有益助手的聊天机器人导致较差的个性推断准确性和较低的用户体验评级,但仍然捕捉到一些人格特质的心理学意义信息(平均 r=.117,范围 =[-.004, .209])。初步分析表明,个性推断的准确性在不同的社会人口子群中只有轻微的差别。我们的结果突出了 LLMs 在基于对话交互的心理剖析中的潜力。我们讨论了与这些发现相关的实际意义和伦理挑战。
May, 2024
我们介绍了一种在语言模型中调整个性特质的新方法,通过使用一组无监督构建的个性化词典,调整原始语言模型在解码阶段预测下一个词的概率,从而精细地操纵个性特质,并在不更新参数的情况下轻松集成到其他语言模型中。
Oct, 2023