RoleLLM：大型语言模型角色扮演能力的基准、激发和增强

Oct, 2023

RoleLLM：大型语言模型角色扮演能力的基准、激发和增强

RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities of Large Language Models

Zekun Moore Wang, Zhongyuan Peng, Haoran Que, Jiaheng Liu, Wangchunshu Zhou...

TL;DRRoleLLM 是一种框架，用于在大规模语言模型中评估和增强角色扮演能力。通过 Context-Instruct 和 RoleGPT，我们创建了 RoleBench，这是角色扮演的第一个系统性和细致的基于角色的基准数据集，该数据集包含 168,093 个样本。此外，通过 RoleBench 上的 RoCIT，我们获得了 RoleLLaMA（英文）和 RoleGLM（中文），显著增强了角色扮演的能力，甚至与使用 GPT-4 的 RoleGPT 的结果相当。

Abstract

The advent of large language models (LLMs) has paved the way for complex tasks such as role-playing, which enhances user interactions by enabling models to imitate various characters. However, the closed-source n

large language models role-playing rolellm context-instruct rolebench

发现论文，激发创造

角色扮演的模版框架：生成与评估

使用大型语言模型（LLM）构建角色扮演对话数据集并评估性能的框架，并使用召回导向的 Rouge-L 指标支持 LLM 评估器的结果。

Jun, 2024

通过积极查询提升角色扮演系统：评估与改进

通过设计 MORTISE 来改进角色扮演 LLMs 的性能，我们构建了具有高度角色相关性的攻击性查询，通过多个基于 LLM 的模块协同努力生成相应的回复，并形成对抗性训练数据集 RoleAD。结果表明，现有模型在角色对齐能力上存在普遍不足，而经过 RoleAD 改进的模型在改善这一不足方面表现出了一定的泛化性。

Feb, 2024

RoleCraft-GLM：大型语言模型中个性化角色扮演的推进

RoleCraft-GLM 是一个创新框架，旨在通过大型语言模型（LLM）提供个性化角色扮演体验。它解决了对话人工智能中缺乏个性化互动的关键问题，并通过详细和情感细腻的角色描绘提供了解决方案。通过从传统的名人角色转变为多样化的非名人角色的对话数据集，我们提供了独特的对话数据集，从而增强了语言建模交互的真实性和复杂性。此外，我们的方法包括细致的角色塑造，确保对话既真实又情感共鸣。通过多个案例研究验证了 RoleCraft-GLM 的有效性，突显了它在不同场景中的多功能和技巧。我们的框架在生成准确反映角色个性特征和情绪的对话方面表现出色，从而提高用户参与度。总之，RoleCraft-GLM 在个性化人工智能互动方面取得了重要进展，并通过实现更复杂和情感丰富的对话为更真实和沉浸式的人工智能辅助角色扮演体验铺平了道路。

Dec, 2023

大规模语言模型是所有字符的叠加：通过自我对齐实现任意角色扮演

本研究通过利用大规模训练语料库中角色知识，提出了一种自对齐的角色扮演方法 Ditto，其将一个在读解问题上进行指令遵循的大型语言模型调整为模拟角色扮演对话。通过使用自动生成的角色扮演训练数据集对模型进行微调，Ditto 展现出在多轮对话中一致的角色身份和准确的角色特定知识，性能高于其他开源角色扮演基准，并与先进的专有聊天机器人相媲美。与此同时，研究还展示了大型语言模型自身的内在能力限制了角色特定知识的获取，但通过辅助较小模型的指导可以轻松获得角色扮演风格。

Jan, 2024

促进大型语言模型在在线求职和招聘中的多角色和多行为协作

在线招聘服务的出现已经彻底改变了求职和招聘的传统模式，本研究致力于提高个人与职业的匹配度，通过引入模拟面试的过程，从而为候选人评估提供额外的证据，增强了传统基于简历和职位描述的人 - 职位匹配方式。提出了一种创新可行的模拟面试框架 MockLLM，通过面试生成和握手协议中的双方评估两个模块，通过让面试官和候选人之间协同行为来提高其性能，同时设计一种多角色和多行为的角色扮演框架，使单个语言模型代理能够以多个功能有效地与双方交互。此外，还提出了反思记忆生成和动态提示修改技术，以改进双方的行为，实现对增强的额外证据的持续优化。详细的实验结果表明，MockLLM 在人 - 职位匹配和模拟面试质量方面表现出了最佳性能，展示了其在未来在线招聘中的应用前景。

May, 2024

关于使用大型语言模型进行角色扮演中的决策能力

通过评估大型语言模型在角色扮演后的决策能力，验证了角色扮演的有效性，提供了提升大型语言模型在角色扮演任务中决策能力的度量和指导。通过使用大型语言模型生成与 MBTI 人格类型相对应的虚拟角色描述，并设计具体的量化操作来评估大型语言模型在角色扮演后的决策能力，从适应性、探索与利用权衡能力、推理能力和安全性四个方面分析决策能力与相应 MBTI 类型的关联。实验结果表明，不同角色在决策能力的四个方面存在稳定的差异，显示出大型语言模型可以有效地扮演不同角色并体现其真实的社会学特征。

Feb, 2024

使用 ChatGPT 的角色扮演模拟游戏

在本文中，我们展示了如何利用 ChatGPT 在角色扮演的模拟游戏场景中，通过使用大型语言模型（LLMs）来提高教学质量，从而促进学生的积极学习。此外，我们讨论了 LLMs 如何通过允许学生使用 ChatGPT 来练习真实生活场景，从而提高学生的学习兴趣。

Feb, 2024

LLM 聊天机器人的模仿能力如何？通过 ECHO 评估

使用 ECHO 框架基于图灵测试评估三种角色扮演型大型语言模型（LLMs），结果发现 GPT-4 在欺骗人类评估者方面更为有效，并且 GPTs 实现了 48.3% 的领先成功率。

Apr, 2024

基于大型语言模型的零射击提示在开放域人机对话中的角色扮演

采用角色扮演零样本提示作为一种高效且经济有效的方法，本研究使用能遵守指令的多语言 LLM（Beeching 等，2023 年）进行开放领域对话，并设计了一个提示系统，与 Vicuna（Chiang 等，2023 年）模型相结合，产生与精调模型在两个不同任务的人类评估中相匹配甚至超越的对话代理。

Jun, 2024

从 Tarzan 到 Tolkien：控制 LLMs 的语言熟练程度用于内容生成

探讨利用大型语言模型（LLMs）控制文本难度的问题，在不完全精通的终端用户环境中（如语言学习者），通过使用新颖框架评估了几种关键方法的效果，包括少样本提示、监督微调和强化学习（RL），使用 GPT-4 和 LLama2-7B、Mistral-7B 等开源替代品。我们的发现揭示了在使用基于提示的策略时，GPT-4 和开源模型之间存在很大的性能差距。然而，我们展示了如何通过精调和 RL 对齐的谨慎组合来弥合这一差距。我们最佳的模型，CALM（CEFR 对齐语言模型），在仅成本的一小部分下超越了 GPT-4 和其他策略的性能。我们通过小规模的人工研究进一步验证了我们结果的质量。

Jun, 2024