本文提出一种 LL 全面评估人类人格的通用框架，使用 Myers Briggs 类型指标测试。采用无偏提示和替换问题语句的方法，使 ChatGPT 能更加灵活地评估不同类型的人格。通过实验，我们发现 ChatGPT 的评估结果更加一致和公正，尽管对提示偏差的鲁棒性略低于 InstructGPT。

Mar, 2023

该研究探讨了如何对大型语言模型进行人格测试，并提出了使用自我评估测试的不足之处，主要体现在测试结果不可靠，无法客观准确地测量机器的人格特点，原因是存在内在的偏见和不一致性。因此，需要开发更科学的方法来对大型语言模型的人格特点进行准确可靠的评估。

May, 2023

本文探讨了使用心理测量测试来量化和分析大型语言模型输出中的人格特质的可靠性和有效性，并讨论了如何对这些模型进行塑造的潜在应用和伦理影响，特别是关于负责任地使用LLM。

Jul, 2023

大型语言模型（LLMs）的人类化行为在文本交互中愈发明显，尝试使用原本为人类设计的测试来评估模型的各种特性已变得流行起来。然而，需要仔细调整这些测试，以确保测试结果在人类亚群中的有效性。因此，不清楚不同测试的有效性能够推广到LLMs的程度。本研究提供证据表明，LLMs对个性测试的反应与典型人类反应存在系统偏差，意味着这些结果不能像人类测试结果一样进行解释。具体来说，LLMs经常同时肯定地回答出了反向编码项目（例如，“我是内向的”与“我是外向的”）。此外，设计用于“引导”LLMs模拟特定的个性类型的不同提示的变化并不遵循人类样本中五个独立个性因素的明确分离。考虑到这些结果，我们认为在对类似LLMs“个性”这样定义模糊的概念进行强有力的结论之前，应更加关注对LLMs的测试有效性。

Nov, 2023

大型语言模型（LLMs）在社会科学研究中的自然语言理解任务的通用性使其备受青睐。本研究探讨了当前的提示格式是否能使LLMs以一致且稳健的方式提供回答，结论发现即使对选项顺序进行简单扰动也足以显著降低模型的问答能力，且大多数LLMs在否定一致性方面表现低下，提示目前的普遍做法无法准确捕捉模型的认知，我们讨论了改进这些问题的可能替代方案。

Nov, 2023

该研究探索了AI性格或AInality的概念，表明大型语言模型（LLMs）呈现出与人类个性类似的模式。通过使用人类中心的心理测量测试，如迈尔斯-布里格斯类型指标（MBTI）、大五人格测试（BFI）和短暗黑三博士（SD3），我们确认了LLM的个性类型，并通过引入角色扮演提示，展示了LLMs的适应性，显示了它们在不同个性类型之间动态切换的能力。使用项目性测试，如华盛顿大学句子完成测试（WUSCT），我们揭示了LLMs个性的隐藏方面，这些方面通过直接提问很难获取。项目测试允许对LLMs的认知过程和思维模式进行深入探索，并为AInality提供了多方面的视角。我们的机器学习分析发现，LLMs表现出明显的AInality特征和多样化的个性类型，展示了对外部指令的动态变化。该研究开创了在LLMs上应用项目性测试的先例，揭示了它们多样而适应性的AInality特征。

Dec, 2023

借助不同输入提示，使用多个参数大小的多个大型语言模型对它们的输出进行了评估，结果显示，大型语言模型普遍表现出高度的开放性和低度的外向性，且参数越多越倾向于开放性和责任心，并且在不同数据集上对细调模型产生了微小的调整

Feb, 2024

通过使用外部评估方法，本文调查了大型语言模型（LLMs）的个性，并发现在不同情境下生成帖子和评论时，LLMs的个性有显著差异，与人类表现出一致的个性特征形成了对比，从而引发对LLMs个性定义和测量的重新评估。

Feb, 2024

该研究使用心理测量学的方法，对OpenAI的GPT-3.5和GPT-4模型进行了人格特质测试。结果发现，使用普通人物描述时，GPT-4的回答表现出与人类相似的心理特点，而使用具体人口统计信息的情况下，两个模型的回答则表现较差，此研究对于大语言模型在模拟个体级人类行为方面提出了怀疑。

May, 2024

本文对大型语言模型中的个性进行了综述和分类，主要涵盖自我评估、展示和认知等问题，并提供了详尽的分析和解决方案比较，总结了研究结果和挑战，并展望了未来的研究方向和应用场景。

Jun, 2024