研究表明，LLMs 能够在上下文中扮演不同的角色，这种扮演可以揭示它们的潜在优势和偏见。

May, 2023

大型语言模型（LLMs）是否具有其自己的世界观和个性倾向？对 LLM 模型回答主观问题的模拟进行了 100 多万次，将其回答与欧洲社会调查（ESS）的真实数据进行比较，结果表明问题引导对偏见和变异的影响是基本的，突出了主要的文化、年龄和性别偏见。文中还讨论了测量 LLMs 与调查数据差异的方法，如计算加权平均值和基于 Jaccard 相似性的一项新提出的测量。我们得出结论，在使用 LLMs 模拟个体决策或集体行为之前，分析问题引导的稳健性和变异性非常重要，因为它们的模拟能力充其量是近似的。

May, 2024

该研究使用心理测量学的方法，对 OpenAI 的 GPT-3.5 和 GPT-4 模型进行了人格特质测试。结果发现，使用普通人物描述时，GPT-4 的回答表现出与人类相似的心理特点，而使用具体人口统计信息的情况下，两个模型的回答则表现较差，此研究对于大语言模型在模拟个体级人类行为方面提出了怀疑。

May, 2024

大规模语言模型（LLMs）个性化与基本推理任务间的影响及深层偏见的研究。

Nov, 2023

使用大型语言模型（LLMs）和个性变量在现有主观 NLP 数据集中模拟不同视角方面，发现个性变量通过提示在 LLMs 中的应用能提供适度的改善，但在解释人类标注中的作用较低（<10%）时，个性提示的效果很小，这对当前 NLP 领域中模拟多样性的可行性产生了质疑。

Feb, 2024

通过使用大五人格调查，我们在各种大型语言模型中发现了一种以前未被发现的社会期望偏差，它会影响模型的评估和得分。这种偏差存在于所有测试的模型中，并且可能在更近期的模型中出现更严重的程度，对于使用心理测验或将模型作为人类参与者的代理存在一定的限制。

May, 2024

大型语言模型在代表人类进行主观标签任务方面的潜力和限制

Nov, 2023

存在困扰个性化驱动文本生成任务的大型语言模型（LLMs）需要生成反映符合特定人物角色可能具有的观点分布的文本。我们定义不协调的人物角色作为具有多个特征的人物角色，在人类调查数据中，其中一个特征会使其其他特征变得不太可能，例如支持增加军费的政治自由主义者。我们发现 LLMs 比一致的人物角色少 9.7％的可控性，有时会生成与其人口统计学相关的刻板立场，而不是目标立场。我们评估的使用人类反馈强化学习（RLHF）微调的模型更具可控性，尤其是与政治自由主义者和女性相关的立场，但呈现出更少多样化的人物角色观点。我们还发现无法从多选意见评估中预测的 LLM 可控性的方差。我们的研究结果显示了在开放式文本生成中评估模型的重要性，因为它可以揭示新的 LLM 观点偏见。此外，这种设置可以揭示我们将模型引导到更丰富和多样化的观点范围的能力。

May, 2024

这项研究通过从 GLOBE 项目获取的价值问题激发 ChatGPT（OpenAI）和 Bard（Google）来探讨了大型语言模型的文化自我认知，结果显示它们与英语国家和经济竞争力强的国家的价值观最为相似。认识到大型语言模型的文化偏见并理解它们的工作方式对社会中的所有人都非常重要，因为我们不希望人工智能的黑盒子延续偏见，使人类在无意中创造和训练更加带有偏见的算法。

Dec, 2023

利用贝叶斯统计模型，研究了大型语言模型（LLMs）在人类行为预测方面的类人特性，发现 LLMs 不能准确捕获人类数据的各项细节，但在聚合和条件水平的预测方面可以有效适配人类数据，显示出某些不同的方法可以使其得到充分的分布式预测。

Jun, 2024