存在困扰个性化驱动文本生成任务的大型语言模型（LLMs）需要生成反映符合特定人物角色可能具有的观点分布的文本。我们定义不协调的人物角色作为具有多个特征的人物角色，在人类调查数据中，其中一个特征会使其其他特征变得不太可能，例如支持增加军费的政治自由主义者。我们发现 LLMs 比一致的人物角色少 9.7％的可控性，有时会生成与其人口统计学相关的刻板立场，而不是目标立场。我们评估的使用人类反馈强化学习（RLHF）微调的模型更具可控性，尤其是与政治自由主义者和女性相关的立场，但呈现出更少多样化的人物角色观点。我们还发现无法从多选意见评估中预测的 LLM 可控性的方差。我们的研究结果显示了在开放式文本生成中评估模型的重要性，因为它可以揭示新的 LLM 观点偏见。此外，这种设置可以揭示我们将模型引导到更丰富和多样化的观点范围的能力。

May, 2024

通过以人类为模版的角色对大型语言模型进行提示和回答问题，我们研究了这种模型在主观注释任务和信念生成任务中的表现，结果显示大型语言模型在模拟已知的人类偏见方面存在不同的结果，但在表现隐含的偏见方面通常未能达到预期。我们得出结论，大型语言模型缺乏人类思维的内在认知机制，虽然能够捕获人们言语的统计模式，但在复杂社会科学应用中可能限制其效果。

Jun, 2024

使用大型语言模型（LLMs）和个性变量在现有主观 NLP 数据集中模拟不同视角方面，发现个性变量通过提示在 LLMs 中的应用能提供适度的改善，但在解释人类标注中的作用较低（<10%）时，个性提示的效果很小，这对当前 NLP 领域中模拟多样性的可行性产生了质疑。

Feb, 2024

通过挖掘公众意见调查的数据，结合用户观点、人口统计学和意识形态信息来对 LLMs 进行定位，从而实现更好地预测各种话题下的公众观点，同时发现利用个体用户的相关过往意见可以提高预测准确性。

May, 2023

通过双向偏好优化来产生更有效的转向向量，从而在多种开放生成任务中实现个性化控制，并在关键对齐场景中展示出卓越的转向效果以及多个向量同时应用时的协同效益。

May, 2024

本文探讨了使用心理测量测试来量化和分析大型语言模型输出中的人格特质的可靠性和有效性，并讨论了如何对这些模型进行塑造的潜在应用和伦理影响，特别是关于负责任地使用 LLM。

Jul, 2023

通过引入 Persona-DB 框架，本文从一个新的角度考虑数据如何更好地表示，以实现对大型语言模型 (LLMs) 定制过程中更高效的检索，同时在多个实验中展示了 Persona-DB 在任务上下文中的泛化能力和在冷启动情况下的显著改进。

Feb, 2024

基于大型语言模型的系统，在用户隐私方面存在问题，需要更多关注人类隐私问题的研究，包括设计范例对用户的行为披露、用户心智模型和隐私控制偏好的影响，以及赋予终端用户对个人数据的拥有权的工具设计，在此基础上构建可用、高效、具有隐私友好性质的系统。本文旨在启动关于人类隐私问题研究的讨论，为基于大型语言模型的系统中的隐私问题制定议程。

Feb, 2024

社交网络数据的广泛增长为人类行为的广泛数据驱动型探索开辟了前所未有的机遇。然而，建模大规模社交网络数据面临计算挑战。为了应对这些挑战，我们提出了一种专门用于建模社交网络数据的创新方法，并结合了大型语言模型的功能。我们在七个真实世界的社交网络数据集上进行了彻底评估，并展示了其在计算社会科学研究中的适用性。

Dec, 2023

我们提出了一种新颖的以人设为驱动的数据合成方法，利用大型语言模型中的各种观点来创建多样化的合成数据。为了在规模上充分利用这种方法，我们引入了 Persona Hub—— 一个从 Web 数据自动筛选得到的 10 亿多样化的人设集合。这 10 亿个人设（相当于世界总人口的 13%），作为传播世界知识的分布式载体，可以利用 LLM 中所囊括的几乎每个观点，从而促进在各种场景中大规模创建多样化的合成数据。通过展示 Persona Hub 在合成高质量的数学和逻辑推理问题，指令（即用户提示），知识丰富的文本，游戏 NPC 和工具（函数）的使用案例，我们证明了以人设为驱动的数据合成是多功能、可扩展、灵活且易于使用的，有潜力推动合成数据创建和实际应用中的范式转变，可能对 LLM 的研究和发展产生深远影响。

Jun, 2024