RoleLLM 是一种框架，用于在大规模语言模型中评估和增强角色扮演能力。通过 Context-Instruct 和 RoleGPT，我们创建了 RoleBench，这是角色扮演的第一个系统性和细致的基于角色的基准数据集，该数据集包含 168,093 个样本。此外，通过 RoleBench 上的 RoCIT，我们获得了 RoleLLaMA（英文）和 RoleGLM（中文），显著增强了角色扮演的能力，甚至与使用 GPT-4 的 RoleGPT 的结果相当。

Oct, 2023

使用大型语言模型（LLM）构建角色扮演对话数据集并评估性能的框架，并使用召回导向的 Rouge-L 指标支持 LLM 评估器的结果。

Jun, 2024

以桌上角色扮演游戏的规则为基础，通过引入代理交互评估框架（AntEval），提出了两个新的评估指标：信息交换精度（IEP）和交互表达差距（IEG），以评估大语言模型在复杂代理交互中的信息量和表达能力，为进一步探索复杂代理交互提供指导，引导其更接近模拟真实人类行为，并提升在实际应用中的整合性和实用性。

Jan, 2024

本研究通过创新的开放式面试式方法，对 ChatHaruhi 库创建的 32 个角色扮演聊天机器人进行全面的人格评估，评估结果表明基于 LLMs 的现代角色扮演聊天机器人可以有效地描绘对应角色的人格特征，与人类感知的人格匹配率为 82.8％，同时提出了塑造聊天机器人个性的潜在策略。该研究是计算语言学和心理学交叉领域中角色扮演聊天机器人的基础性研究。

Oct, 2023

大语言模型在构建特色人工智能代理方面的性能评估以及自动度量指标的定量评估，突显了进一步提高大语言模型在构建特色人工智能代理方面能力的潜在方向。

Mar, 2024

通过对三种热门大型语言模型和 2457 个问题进行广泛的分析，我们发现在系统提示中添加人际角色可以持续地提高模型在各种问题上的性能。此外，我们还发现使用中性角色并将其指定为受众可以获得更好的性能，同时预测哪种角色可以获得最佳的性能仍然是一个具有挑战性的任务，频率、相似度和困惑度不能完全解释社会角色对模型性能的影响。这些结果可以帮助指导 AI 系统的系统提示设计。

Nov, 2023

本文探讨了将人类特质投射于对话代理的问题，并详细介绍了将角色扮演的概念应用于自然语言处理中的方法，从而更好地描述对话代理的行为，以期实现更加真实自然的对话交互。

May, 2023

通过评估大型语言模型在角色扮演后的决策能力，验证了角色扮演的有效性，提供了提升大型语言模型在角色扮演任务中决策能力的度量和指导。通过使用大型语言模型生成与 MBTI 人格类型相对应的虚拟角色描述，并设计具体的量化操作来评估大型语言模型在角色扮演后的决策能力，从适应性、探索与利用权衡能力、推理能力和安全性四个方面分析决策能力与相应 MBTI 类型的关联。实验结果表明，不同角色在决策能力的四个方面存在稳定的差异，显示出大型语言模型可以有效地扮演不同角色并体现其真实的社会学特征。

Feb, 2024

使用新的框架 InterIntent，通过对大型语言模型进行多人游戏测试，发现虽然大型语言模型在选择意图方面表现出色，但对他人意图的推断能力较弱，与人类表现相差 20%；游戏表现与意图理解相关，强调了这四个组成部分对成功的重要性。研究强调了评估大型语言模型社交智能中意图理解的关键作用，并凸显了使用社交猜谜游戏作为复杂测试平台来提高大型语言模型评估的潜力。

Jun, 2024

本文探索了一种方法，即在特定的游戏场景中测试大型语言模型的表现，以此来深入了解它们是否能像环境理解代理一样进行操作，涵盖了五个交互设置，并表明当前聊天优化的大型语言模型在一定程度上能够遵循游戏规则，并且用于衡量游戏表现和调查 LLM 的性能具有诊断价值。

May, 2023