通过心理测量工具评估和操控预训练语言模型中的潜在构念

Sep, 2024

通过心理测量工具评估和操控预训练语言模型中的潜在构念

Assessment and manipulation of latent constructs in pre-trained language models using psychometric scales

Maor Reuben, Ortal Slobodin, Aviad Elyshar, Idan-Chaim Cohen, Orna Braun-Lewensohn...

TL;DR本研究解决了目前缺乏评估大规模语言模型心理构念的方法这一问题。通过将标准心理问卷重新构建为自然语言推理提示，并提供代码库，研究展示了多个语言模型中存在与人类心理相关的构念，如焦虑和抑郁，并与人类心理学理论一致。该方法增强了语言模型的可解释性和可信度，推动了更可控的模型发展。

Abstract

Human-like personality traits have recently been discovered in large language models, raising the hypothesis that their (known and as yet undiscovered) biases conform with human latent psychological constructs. While large conversational models may be tricked into answering psychometri

发现论文，激发创造

社交媒体语言中的潜在人类特征：一种开放词汇方法

通过社交媒体数据的自然语言使用，我们研究了推断一组新的人类特征的过程，并通过与五因素人格模型的比较得出，语言基础特质的构建更具普适性，并且在某些方面比基于问卷的特质更能预测一些基于实体的结果，从而为新的个性化构建提供了一定的参考价值。

May, 2017

使用计算语言模型预测人类心理测量属性

本研究得出结论，Transformer-based language models可以在模拟语言理解任务中预测人类心理测量数据，这为心理测量学家节省了多轮实验测试的必要性。

May, 2022

MPI：评估和诱导预训练语言模型的个性

这篇论文提出了Machine Personality Inventory（MPI）数据集，该数据集以Big Five Personality Factors理论和人格评估清单为基础，旨在评估预先培训的语言模型的人格。通过MPI评估模型，我们提供了第一个证据，表明预先训练的语言模型中存在人格。我们进一步设计了Chain Prompting方法，以可控的方式诱导语言模型具有特定的人格，能够产生多样化的行为。希望通过采用人格作为下游任务的基本心理指导，建立更像人类且在位置对话代理商。

May, 2022

识别和操控语言模型的人格特质

本文研究了语言模型，尤其是GPT2和BERT，如何通过语言生成来表现其所体现的人格特质，以及这些特质是否可以被控制。作者通过提供不同类型的语境可以精准地控制这些模型的表现，最终得出这些模型可以作为识别个性特质和控制人格的强有力的工具。本研究还提供了一份基于”大五人格模型“的人品数据集和Reddit上的人格数据集。

Dec, 2022

大型语言模型中的人格特质

本文探讨了使用心理测量测试来量化和分析大型语言模型输出中的人格特质的可靠性和有效性，并讨论了如何对这些模型进行塑造的潜在应用和伦理影响，特别是关于负责任地使用LLM。

Jul, 2023

评估大型语言模型的性质：对人类中心主义的警告

GPT3.5的认知能力和人格测量存在较大的变异性，但其所展示的低自尊和与现实脱节的表现可能与人类的良好心理健康状态相悖。

Sep, 2023

大规模语言模型中引发大五人格特质的文本分析：基于分类器驱动方法

借助不同输入提示，使用多个参数大小的多个大型语言模型对它们的输出进行了评估，结果显示，大型语言模型普遍表现出高度的开放性和低度的外向性，且参数越多越倾向于开放性和责任心，并且在不同数据集上对细调模型产生了微小的调整

Feb, 2024

LLM模型模拟人类心理行为的有限能力：心理测量分析

该研究使用心理测量学的方法，对OpenAI的GPT-3.5和GPT-4模型进行了人格特质测试。结果发现，使用普通人物描述时，GPT-4的回答表现出与人类相似的心理特点，而使用具体人口统计信息的情况下，两个模型的回答则表现较差，此研究对于大语言模型在模拟个体级人类行为方面提出了怀疑。

May, 2024

大型语言模型能从用户的自由互动中推断出个性

本研究探讨了大型语言模型（LLMs）从自由交互中推断五大人格特质的能力。结果表明，由GPT-4驱动的聊天机器人可以以适度的准确性推断人格，优于从静态文本内容中推断的先前方法。推断的准确性在不同的对话环境下有所变化。当聊天机器人被要求引出与个性相关的信息时，性能最高（平均r=.443，范围=[.245, .640]），其次是强调自然互动的条件（平均r=.218，范围=[.066, .373]）。值得注意的是，在直接关注个性评估的条件下，用户体验并未降低，参与者报告两种条件下的交互同样自然、愉快、吸引人和类似人类。一个模仿ChatGPT作为有益助手的聊天机器人导致较差的个性推断准确性和较低的用户体验评级，但仍然捕捉到一些人格特质的心理学意义信息（平均r=.117，范围=[-.004, .209]）。初步分析表明，个性推断的准确性在不同的社会人口子群中只有轻微的差别。我们的结果突出了LLMs在基于对话交互的心理剖析中的潜力。我们讨论了与这些发现相关的实际意义和伦理挑战。

May, 2024

利用大型语言模型重新发现人格的潜在维度

本研究针对传统问卷方法在评估人格特质方面的局限性，提出了一种新方法，通过对大型语言模型（LLMs）的下一个标记响应进行奇异值分解，揭示其潜在的人格维度。研究发现，LLMs能够在没有直接问卷输入的情况下重新识别核心人格特质，并在预测准确性上显著提高，为人格评估提供了新的视角。

Sep, 2024