ICMLJun, 2024

个性是否仅限于角色扮演？使用 ChatGPT 从简单描述中重构智能体的潜在个性

PDF
TL;DR本文研究借助简单描述包含社会人口和个性类型信息，大型语言模型（LLMs）在重建人类认知中基本性格特征方面的能力。通过利用 HEXACO 人格框架，我们的研究探讨了 LLMs 在从简单描述中恢复和预测潜在人格维度的一致性。实验证明在人格重建方面存在显著的一致性，但也观察到一些不一致性和偏见，例如在缺乏明确信息时默认为积极特质。此外，年龄和子女数量等社会人口因素也会影响恢复的人格维度。这些发现对于利用 LLMs 构建复杂的基于代理的模拟具有重要意义，并强调了对 LLMs 中健壮人格生成的进一步研究的需求。
personalitylarge language modelscognitive attributeslatent dimensionssocio-demographic factors
发现论文，激发创造
  • 大型语言模型中的人格特质

    本文探讨了使用心理测量测试来量化和分析大型语言模型输出中的人格特质的可靠性和有效性，并讨论了如何对这些模型进行塑造的潜在应用和伦理影响，特别是关于负责任地使用 LLM。

    Jul, 2023

  • PersonaLLM：探究 GPT-3.5 表达人格特质和性别差异的能力

    本文通过用自我报告问卷（BFI）评估和语言分析等方法，在大型语言模型（LLMs）中针对五个人格特质类型和性别角色实验性地生成了 320 种 LLM 角色，研究 LLM 角色生成的内容是否优点定制的特质，并对其可应用于人工智能会话的前景进行了展望。

    May, 2023

  • 大型语言模型能从用户的自由互动中推断出个性

    本研究探讨了大型语言模型（LLMs）从自由交互中推断五大人格特质的能力。结果表明，由 GPT-4 驱动的聊天机器人可以以适度的准确性推断人格，优于从静态文本内容中推断的先前方法。推断的准确性在不同的对话环境下有所变化。当聊天机器人被要求引出与个性相关的信息时，性能最高（平均 r=.443，范围 =[.245, .640]），其次是强调自然互动的条件（平均 r=.218，范围 =[.066, .373]）。值得注意的是，在直接关注个性评估的条件下，用户体验并未降低，参与者报告两种条件下的交互同样自然、愉快、吸引人和类似人类。一个模仿 ChatGPT 作为有益助手的聊天机器人导致较差的个性推断准确性和较低的用户体验评级，但仍然捕捉到一些人格特质的心理学意义信息（平均 r=.117，范围 =[-.004, .209]）。初步分析表明，个性推断的准确性在不同的社会人口子群中只有轻微的差别。我们的结果突出了 LLMs 在基于对话交互的心理剖析中的潜力。我们讨论了与这些发现相关的实际意义和伦理挑战。

    May, 2024

  • LLM 模型模拟人类心理行为的有限能力：心理测量分析

    该研究使用心理测量学的方法，对 OpenAI 的 GPT-3.5 和 GPT-4 模型进行了人格特质测试。结果发现，使用普通人物描述时，GPT-4 的回答表现出与人类相似的心理特点，而使用具体人口统计信息的情况下，两个模型的回答则表现较差，此研究对于大语言模型在模拟个体级人类行为方面提出了怀疑。

    May, 2024

  • 大型语言模型能够推断社交媒体用户的心理特质

    利用大型语言模型（LLMs）如 ChatGPT 从用户的数字足迹中推断个体的心理特征，研究发现 GPT-3.5 和 GPT-4 可以在零样本学习情景下从用户的 Facebook 状态更新中推导出五大人格特征，但结果显示推断得分与自我报告的特征分数之间的平均相关性为 r = .29（范围 =[.22, .33]），并且推断的人格特征存在性别和年龄方面的偏差。

    Sep, 2023

  • ChatGPT 是否能评估人类个性？一个综合评估框架

    本文提出一种 LL 全面评估人类人格的通用框架，使用 Myers Briggs 类型指标测试。采用无偏提示和替换问题语句的方法，使 ChatGPT 能更加灵活地评估不同类型的人格。通过实验，我们发现 ChatGPT 的评估结果更加一致和公正，尽管对提示偏差的鲁棒性略低于 InstructGPT。

    Mar, 2023

  • 以个性为驱动的生成智能体

    该研究探讨了大型语言模型（LLMs）利用心理测量值，特别是人格信息，在视频游戏角色开发中的潜力。利用情感计算（AC）系统量化非玩家角色（NPC）的心智，LLM 可以利用该系统的信息通过使用这些数值来生成提示。研究表明 LLM 可以持续地代表给定的人格轮廓，从而增强游戏角色的人类特征。通过重新设计人类检查方法，例如国际人格项目库（IPIP）问卷，来评估 LLM，显示模型可以准确生成与所提供人格有关的内容。结果显示，改进的 LLM，如最新的 GPT-4 模型，可以持续地利用和解释人格以代表行为。

    Feb, 2024

  • PersonalityChat: 基于事实和特征的个性化对话建模的会话提炼

    本文利用大型语言模型（LLM）通过个性化对话生成，基于个人特点和人格特质创建了一个合成对话数据集，从而证明了个性化对话模型和与 PersonaChat 相比的表现优势。

    Jan, 2024

  • 大型语言模型的个性 —— 基于 ChatGPT (ENFJ) 和 Bard (ISTJ) 的实证研究

    本研究使用心理学框架来考察 Large Language Models 的行为模式，通过评估 ChatGPT 的人格类型及其在其他七种语言和其他四种模型上的跨语言影响，研究指出在指令或情境提示下，ChatGPT 始终保持其 ENFJ 人格，揭示了 LLMs 的个性化特点，为未来进一步研究提供了启示。

    May, 2023

  • CloChat：大型语言模型中的人物角色定制、交互与体验研究

    大语言模型为生成会话代理带来了重大进展，使得在各种话题上实现无缝、情境相关的对话成为可能。然而，现有的以语言模型为驱动的对话代理拥有固定的个性和功能，限制了它们适应个人用户需求的能力。通过创建具有特定专长或特点的个性化代理人物，可以解决这个问题。尽管如此，我们对人们如何定制和与代理人物互动缺乏了解。在这项研究中，我们调查了用户如何定制代理人物以及其对互动质量、多样性和动力的影响。为此，我们开发了 CloChat，这是一个支持在大语言模型中轻松准确地定制代理人物的接口。我们进行了一项研究，比较了参与者如何与 CloChat 和 ChatGPT 互动。结果表明，参与者与定制代理人物建立了情感纽带，进行了更加动态的对话，并表现出对维持互动的兴趣。这些发现为未来使用大语言模型的对话代理系统的设计提供了启示。

    Feb, 2024