LLM 是否具有个性？将 MBTI 测试应用于大型语言模型的优秀评估

Jul, 2023

LLM 是否具有个性？将 MBTI 测试应用于大型语言模型的优秀评估

Do LLMs Possess a Personality? Making the MBTI Test an Amazing Evaluation for Large Language Models

Keyu Pan, Yawen Zeng

TL;DR本文旨在探究利用人格评估工具 MBTI 对大型语言模型进行评估的可行性，并通过广泛实验探索不同模型的人格类型、通过提示工程改变人格类型的可能性以及训练数据集对模型人格的影响。尽管 MBTI 不是一个严谨的评估工具，但它仍然能够反映 LLMs 与人类人格之间的相似程度，并有潜力作为一个粗略的指标。

Abstract

The field of large language models (LLMs) has made significant progress, and their knowledge storage capacity is approaching that of human beings. Furthermore, advanced techniques, such as prompt learning and reinforcement learning, are being employed to address ethical concerns and ha

large language models mbti personality assessment prompt engineering training dataset

发现论文，激发创造

利用外部评估在大型语言模型中识别多个人格

通过使用外部评估方法，本文调查了大型语言模型（LLMs）的个性，并发现在不同情境下生成帖子和评论时，LLMs 的个性有显著差异，与人类表现出一致的个性特征形成了对比，从而引发对 LLMs 个性定义和测量的重新评估。

Feb, 2024

揭开黑箱：大型语言模型多方面性质的心理测量研究

该研究探索了 AI 性格或 AInality 的概念，表明大型语言模型（LLMs）呈现出与人类个性类似的模式。通过使用人类中心的心理测量测试，如迈尔斯 - 布里格斯类型指标（MBTI）、大五人格测试（BFI）和短暗黑三博士（SD3），我们确认了 LLM 的个性类型，并通过引入角色扮演提示，展示了 LLMs 的适应性，显示了它们在不同个性类型之间动态切换的能力。使用项目性测试，如华盛顿大学句子完成测试（WUSCT），我们揭示了 LLMs 个性的隐藏方面，这些方面通过直接提问很难获取。项目测试允许对 LLMs 的认知过程和思维模式进行深入探索，并为 AInality 提供了多方面的视角。我们的机器学习分析发现，LLMs 表现出明显的 AInality 特征和多样化的个性类型，展示了对外部指令的动态变化。该研究开创了在 LLMs 上应用项目性测试的先例，揭示了它们多样而适应性的 AInality 特征。

Dec, 2023

大型语言模型是否具有人格特质？：自我评估测试在衡量 LLMs 人格方面的适用性

该研究探讨了如何对大型语言模型进行人格测试，并提出了使用自我评估测试的不足之处，主要体现在测试结果不可靠，无法客观准确地测量机器的人格特点，原因是存在内在的偏见和不一致性。因此，需要开发更科学的方法来对大型语言模型的人格特点进行准确可靠的评估。

May, 2023

个性测试是否适用于大型语言模型？

大型语言模型（LLMs）的人类化行为在文本交互中愈发明显，尝试使用原本为人类设计的测试来评估模型的各种特性已变得流行起来。然而，需要仔细调整这些测试，以确保测试结果在人类亚群中的有效性。因此，不清楚不同测试的有效性能够推广到 LLMs 的程度。本研究提供证据表明，LLMs 对个性测试的反应与典型人类反应存在系统偏差，意味着这些结果不能像人类测试结果一样进行解释。具体来说，LLMs 经常同时肯定地回答出了反向编码项目（例如，“我是内向的” 与 “我是外向的”）。此外，设计用于 “引导” LLMs 模拟特定的个性类型的不同提示的变化并不遵循人类样本中五个独立个性因素的明确分离。考虑到这些结果，我们认为在对类似 LLMs “个性” 这样定义模糊的概念进行强有力的结论之前，应更加关注对 LLMs 的测试有效性。

Nov, 2023

ChatGPT 是否能评估人类个性？一个综合评估框架

本文提出一种 LL 全面评估人类人格的通用框架，使用 Myers Briggs 类型指标测试。采用无偏提示和替换问题语句的方法，使 ChatGPT 能更加灵活地评估不同类型的人格。通过实验，我们发现 ChatGPT 的评估结果更加一致和公正，尽管对提示偏差的鲁棒性略低于 InstructGPT。

Mar, 2023

大型语言模型中的人格特质

本文探讨了使用心理测量测试来量化和分析大型语言模型输出中的人格特质的可靠性和有效性，并讨论了如何对这些模型进行塑造的潜在应用和伦理影响，特别是关于负责任地使用 LLM。

Jul, 2023

LLM 人格特质测试套件：LLM 是否具有独特且一致的人格特质？

通过 TRAIT 工具，基于 Big Five Inventory (BFI) 和 Short Dark Triad (SD-3) 问卷以及 ATOMIC10X 知识图谱，对大型语言模型进行个性评估，发现 LLMs 具有独特而一致的个性，受其训练数据的影响，并且当前的提示技术在引出某些特征 (如高心理变态和低责任感) 方面的效果有限，需要进一步研究。

Jun, 2024

量化 AI 心理学：大型语言模型的心理测量基准

本论文提出了一个研究大语言模型的心理学的框架，并通过心理测试验证，发现大语言模型表现出广泛的心理属性，并揭示了自我报告特征与现实场景中行为之间的差异。这些研究结果对于可靠的评估和人工智能以及社会科学的潜在应用具有重要的见解。

Jun, 2024

研究自评测验在大型语言模型的人格测量中的适用性

大规模语言模型的人格测量结果依赖于自我评估测试的选择，而人类使用的测试无法准确衡量 LLM 的人格特点。

Sep, 2023

机器思维：大型语言模型的 MBTI 探索

我们提出了一种将 Myers-Briggs Type Indicator (MBTI) 个性特征整合到大型语言模型 (LLMs) 中的新方法，解决了个性一致性在个性化人工智能中的挑战。我们的方法，称为 “Machine Mindset”，通过两阶段的微调和直接偏好优化 (DPO) 将 MBTI 特征嵌入 LLMs 中。这种方法确保模型内化这些特征，提供了稳定和一致的个性配置文件。我们通过在不同领域展示模型表现与其对应的 MBTI 特征之间的对齐，证明了我们模型的有效性。该论文在个性数据集的开发和个性整合在 LLMs 的新训练方法方面做出了重大贡献，增强了个性化人工智能应用的潜力。我们还在 https://github.com/PKU-YuanGroup/Machine-Mindset 上开源了我们的模型和部分数据。

Dec, 2023