互动中的 LLM Agents：大型语言模型互动群体中个性一致性和语言对齐的测量

ACLFeb, 2024

互动中的 LLM Agents：大型语言模型互动群体中个性一致性和语言对齐的测量

LLM Agents in Interaction: Measuring Personality Consistency and Linguistic Alignment in Interacting Populations of Large Language Models

PDF

Ivar Frisch, Mario Giulianelli

TL;DR我们在 GPT-3.5 上通过提示方式进行个性化训练，创建了一组双组群体的 LLM 代理，然后进行个性测试并将代理提交到协作写作任务中，发现不同个性表现出不同程度的人格一致性和语言对话伙伴的语言协调性。我们的研究旨在为更好地理解 LLMs 之间基于对话的交互奠定基础，并强调了在交互环境中塑造稳健且更具人性的 LLM 个性的新方法的需求。

Abstract

While both agent interaction and personalisation are vibrant topics in research on large language models (LLMs), there has been limited focus on the effect of language interaction on the behaviour of persona-cond

agent interaction personalisation persona-conditioned llm agents personality consistency linguistic alignment

发现论文，激发创造

大型语言模型中的人格特质

本文探讨了使用心理测量测试来量化和分析大型语言模型输出中的人格特质的可靠性和有效性，并讨论了如何对这些模型进行塑造的潜在应用和伦理影响，特别是关于负责任地使用 LLM。

Jul, 2023

PersonaLLM：探究 GPT-3.5 表达人格特质和性别差异的能力

本文通过用自我报告问卷（BFI）评估和语言分析等方法，在大型语言模型（LLMs）中针对五个人格特质类型和性别角色实验性地生成了 320 种 LLM 角色，研究 LLM 角色生成的内容是否优点定制的特质，并对其可应用于人工智能会话的前景进行了展望。

May, 2023

认知和行为是否一致：探讨大型语言模型的个性

通过对大型语言模型进行人格问卷调查，本研究评估了这些模型在表达人类人格特质方面的可靠性，并通过与人类基准的综合分析，探讨了大型语言模型中认知行为分歧的程度，并提出了基于心理学理论和测量方法的假设。

Feb, 2024

大型语言模型能从用户的自由互动中推断出个性

本研究探讨了大型语言模型（LLMs）从自由交互中推断五大人格特质的能力。结果表明，由 GPT-4 驱动的聊天机器人可以以适度的准确性推断人格，优于从静态文本内容中推断的先前方法。推断的准确性在不同的对话环境下有所变化。当聊天机器人被要求引出与个性相关的信息时，性能最高（平均 r=.443，范围 =[.245, .640]），其次是强调自然互动的条件（平均 r=.218，范围 =[.066, .373]）。值得注意的是，在直接关注个性评估的条件下，用户体验并未降低，参与者报告两种条件下的交互同样自然、愉快、吸引人和类似人类。一个模仿 ChatGPT 作为有益助手的聊天机器人导致较差的个性推断准确性和较低的用户体验评级，但仍然捕捉到一些人格特质的心理学意义信息（平均 r=.117，范围 =[-.004, .209]）。初步分析表明，个性推断的准确性在不同的社会人口子群中只有轻微的差别。我们的结果突出了 LLMs 在基于对话交互的心理剖析中的潜力。我们讨论了与这些发现相关的实际意义和伦理挑战。

May, 2024

CloChat：大型语言模型中的人物角色定制、交互与体验研究

大语言模型为生成会话代理带来了重大进展，使得在各种话题上实现无缝、情境相关的对话成为可能。然而，现有的以语言模型为驱动的对话代理拥有固定的个性和功能，限制了它们适应个人用户需求的能力。通过创建具有特定专长或特点的个性化代理人物，可以解决这个问题。尽管如此，我们对人们如何定制和与代理人物互动缺乏了解。在这项研究中，我们调查了用户如何定制代理人物以及其对互动质量、多样性和动力的影响。为此，我们开发了 CloChat，这是一个支持在大语言模型中轻松准确地定制代理人物的接口。我们进行了一项研究，比较了参与者如何与 CloChat 和 ChatGPT 互动。结果表明，参与者与定制代理人物建立了情感纽带，进行了更加动态的对话，并表现出对维持互动的兴趣。这些发现为未来使用大语言模型的对话代理系统的设计提供了启示。

Feb, 2024

PersonalityChat: 基于事实和特征的个性化对话建模的会话提炼

本文利用大型语言模型（LLM）通过个性化对话生成，基于个人特点和人格特质创建了一个合成对话数据集，从而证明了个性化对话模型和与 PersonaChat 相比的表现优势。

Jan, 2024

LLM 模型模拟人类心理行为的有限能力：心理测量分析

该研究使用心理测量学的方法，对 OpenAI 的 GPT-3.5 和 GPT-4 模型进行了人格特质测试。结果发现，使用普通人物描述时，GPT-4 的回答表现出与人类相似的心理特点，而使用具体人口统计信息的情况下，两个模型的回答则表现较差，此研究对于大语言模型在模拟个体级人类行为方面提出了怀疑。

May, 2024

以个性为驱动的生成智能体

该研究探讨了大型语言模型（LLMs）利用心理测量值，特别是人格信息，在视频游戏角色开发中的潜力。利用情感计算（AC）系统量化非玩家角色（NPC）的心智，LLM 可以利用该系统的信息通过使用这些数值来生成提示。研究表明 LLM 可以持续地代表给定的人格轮廓，从而增强游戏角色的人类特征。通过重新设计人类检查方法，例如国际人格项目库（IPIP）问卷，来评估 LLM，显示模型可以准确生成与所提供人格有关的内容。结果显示，改进的 LLM，如最新的 GPT-4 模型，可以持续地利用和解释人格以代表行为。

Feb, 2024

AI 人格

本研究论文探讨了在组织环境中将大型语言模型（LLMs）与人类用户对齐的不断发展的情况，超出了基本对齐的范畴，提出了为语言模型提供 “人格对齐” 的想法。通过原始案例研究，我们展示了为人工智能进行人格微调的必要性，并提出了将人类设计的测试应用于人工智能、工程专门的人工智能人格测试以及塑造适应组织角色的人工智能人格等引人思考的问题。该论文为 AI 人格对齐这一新兴领域的讨论和发展提供了起点，为未来在人与机器协同共存和合作的探索奠定了基础。

Dec, 2023

个性是否仅限于角色扮演？使用 ChatGPT 从简单描述中重构智能体的潜在个性

本文研究借助简单描述包含社会人口和个性类型信息，大型语言模型（LLMs）在重建人类认知中基本性格特征方面的能力。通过利用 HEXACO 人格框架，我们的研究探讨了 LLMs 在从简单描述中恢复和预测潜在人格维度的一致性。实验证明在人格重建方面存在显著的一致性，但也观察到一些不一致性和偏见，例如在缺乏明确信息时默认为积极特质。此外，年龄和子女数量等社会人口因素也会影响恢复的人格维度。这些发现对于利用 LLMs 构建复杂的基于代理的模拟具有重要意义，并强调了对 LLMs 中健壮人格生成的进一步研究的需求。

Jun, 2024