May, 2023

大型语言模型的个性 —— 基于 ChatGPT (ENFJ) 和 Bard (ISTJ) 的实证研究

PDF
TL;DR本研究使用心理学框架来考察 Large Language Models 的行为模式，通过评估 ChatGPT 的人格类型及其在其他七种语言和其他四种模型上的跨语言影响，研究指出在指令或情境提示下，ChatGPT 始终保持其 ENFJ 人格，揭示了 LLMs 的个性化特点，为未来进一步研究提供了启示。
large language modelspsychological frameworkbehavioral patternspersonality typespersonalization
发现论文，激发创造
  • ChatGPT 是否能评估人类个性？一个综合评估框架

    本文提出一种 LL 全面评估人类人格的通用框架，使用 Myers Briggs 类型指标测试。采用无偏提示和替换问题语句的方法，使 ChatGPT 能更加灵活地评估不同类型的人格。通过实验，我们发现 ChatGPT 的评估结果更加一致和公正，尽管对提示偏差的鲁棒性略低于 InstructGPT。

    Mar, 2023

  • 大型语言模型能够推断社交媒体用户的心理特质

    利用大型语言模型（LLMs）如 ChatGPT 从用户的数字足迹中推断个体的心理特征，研究发现 GPT-3.5 和 GPT-4 可以在零样本学习情景下从用户的 Facebook 状态更新中推导出五大人格特征，但结果显示推断得分与自我报告的特征分数之间的平均相关性为 r = .29（范围 =[.22, .33]），并且推断的人格特征存在性别和年龄方面的偏差。

    Sep, 2023

  • 大型语言模型能从用户的自由互动中推断出个性

    本研究探讨了大型语言模型（LLMs）从自由交互中推断五大人格特质的能力。结果表明，由 GPT-4 驱动的聊天机器人可以以适度的准确性推断人格，优于从静态文本内容中推断的先前方法。推断的准确性在不同的对话环境下有所变化。当聊天机器人被要求引出与个性相关的信息时，性能最高（平均 r=.443，范围 =[.245, .640]），其次是强调自然互动的条件（平均 r=.218，范围 =[.066, .373]）。值得注意的是，在直接关注个性评估的条件下，用户体验并未降低，参与者报告两种条件下的交互同样自然、愉快、吸引人和类似人类。一个模仿 ChatGPT 作为有益助手的聊天机器人导致较差的个性推断准确性和较低的用户体验评级，但仍然捕捉到一些人格特质的心理学意义信息（平均 r=.117，范围 =[-.004, .209]）。初步分析表明，个性推断的准确性在不同的社会人口子群中只有轻微的差别。我们的结果突出了 LLMs 在基于对话交互的心理剖析中的潜力。我们讨论了与这些发现相关的实际意义和伦理挑战。

    May, 2024

  • PersonaLLM：探究 GPT-3.5 表达人格特质和性别差异的能力

    本文通过用自我报告问卷（BFI）评估和语言分析等方法，在大型语言模型（LLMs）中针对五个人格特质类型和性别角色实验性地生成了 320 种 LLM 角色，研究 LLM 角色生成的内容是否优点定制的特质，并对其可应用于人工智能会话的前景进行了展望。

    May, 2023

  • ChatGPT 是谁？利用 PsychoBench 评估 LLM 的心理描绘

    该研究提出了一个评估 LLMs 不同心理方面的框架 PsychoBench，其中包括了四个明确分类的部分：人格特征、人际关系、动机测试和情绪能力。研究使用了五个常用模型进行测试，并采用了越狱方法绕过安全对齐协议，测试了 LLMs 的内在特性。

    Oct, 2023

  • 大型语言模型中的人格特质

    本文探讨了使用心理测量测试来量化和分析大型语言模型输出中的人格特质的可靠性和有效性，并讨论了如何对这些模型进行塑造的潜在应用和伦理影响，特别是关于负责任地使用 LLM。

    Jul, 2023

  • 超越代码生成：软件工程实践中 ChatGPT 使用的观察研究

    通过对 24 名职业软件工程师使用 ChatGPT 一周期间的对话和整体体验进行定性分析，发现他们更多地使用 ChatGPT 获取解决任务的指导或对抽象主题的学习，并提出了一个理论框架，指导今后关于职业软件工程师使用 LLM 的学术讨论和设计未来经验性研究。

    Apr, 2024

  • LLM 是否具有个性？将 MBTI 测试应用于大型语言模型的优秀评估

    本文旨在探究利用人格评估工具 MBTI 对大型语言模型进行评估的可行性，并通过广泛实验探索不同模型的人格类型、通过提示工程改变人格类型的可能性以及训练数据集对模型人格的影响。尽管 MBTI 不是一个严谨的评估工具，但它仍然能够反映 LLMs 与人类人格之间的相似程度，并有潜力作为一个粗略的指标。

    Jul, 2023

  • 个性是否仅限于角色扮演？使用 ChatGPT 从简单描述中重构智能体的潜在个性

    本文研究借助简单描述包含社会人口和个性类型信息，大型语言模型（LLMs）在重建人类认知中基本性格特征方面的能力。通过利用 HEXACO 人格框架，我们的研究探讨了 LLMs 在从简单描述中恢复和预测潜在人格维度的一致性。实验证明在人格重建方面存在显著的一致性，但也观察到一些不一致性和偏见，例如在缺乏明确信息时默认为积极特质。此外，年龄和子女数量等社会人口因素也会影响恢复的人格维度。这些发现对于利用 LLMs 构建复杂的基于代理的模拟具有重要意义，并强调了对 LLMs 中健壮人格生成的进一步研究的需求。

    Jun, 2024

  • LLMs 模拟五大人格特质：进一步证据

    对 Llama2、GPT4 和 Mixtral 等大型语言模型对五大人格特质进行仿真的实证研究，分析了这些模型所模拟的人格特质及其稳定性，这有助于更深入地了解 LLMs 模拟人格特质的能力以及对个性化人机交互的影响。

    Jan, 2024