Feb, 2024

通过积极查询提升角色扮演系统：评估与改进

PDF
TL;DR通过设计 MORTISE 来改进角色扮演 LLMs 的性能，我们构建了具有高度角色相关性的攻击性查询，通过多个基于 LLM 的模块协同努力生成相应的回复，并形成对抗性训练数据集 RoleAD。结果表明，现有模型在角色对齐能力上存在普遍不足，而经过 RoleAD 改进的模型在改善这一不足方面表现出了一定的泛化性。
large language modelsrole-playing systemsmodular orchestrated trap-setting interaction systemadversarial training datasetrole alignment capabilities
发现论文，激发创造
  • RoleLLM：大型语言模型角色扮演能力的基准、激发和增强

    RoleLLM 是一种框架，用于在大规模语言模型中评估和增强角色扮演能力。通过 Context-Instruct 和 RoleGPT，我们创建了 RoleBench，这是角色扮演的第一个系统性和细致的基于角色的基准数据集，该数据集包含 168,093 个样本。此外，通过 RoleBench 上的 RoCIT，我们获得了 RoleLLaMA（英文）和 RoleGLM（中文），显著增强了角色扮演的能力，甚至与使用 GPT-4 的 RoleGPT 的结果相当。

    Oct, 2023

  • 角色扮演的模版框架：生成与评估

    使用大型语言模型（LLM）构建角色扮演对话数据集并评估性能的框架，并使用召回导向的 Rouge-L 指标支持 LLM 评估器的结果。

    Jun, 2024

  • 捕捉思维，而非语言：使用个性指示数据增强角色扮演语言模型

    我们通过应用特征性数据提升小型角色扮演语言模型，实验证明使用我们的数据集训练的模型在一般和与个性相关的评估中展现了高级角色扮演能力。

    Jun, 2024

  • LLM 角色扮演：模拟人机交互

    本文提出了 LLM-Roleplay：一种面向目标的、基于人物角色的自动生成多样化多轮对话的方法，通过大型语言模型扮演描述人物的角色，从而模拟人与聊天机器人的互动对话。通过收集不同社会人口群体的自然人 - 聊天机器人对话数据，并进行人类评估，发现我们的方法能够以高可分辨率模拟人 - 聊天机器人对话。

    Jul, 2024

  • 大规模语言模型是所有字符的叠加：通过自我对齐实现任意角色扮演

    本研究通过利用大规模训练语料库中角色知识，提出了一种自对齐的角色扮演方法 Ditto，其将一个在读解问题上进行指令遵循的大型语言模型调整为模拟角色扮演对话。通过使用自动生成的角色扮演训练数据集对模型进行微调，Ditto 展现出在多轮对话中一致的角色身份和准确的角色特定知识，性能高于其他开源角色扮演基准，并与先进的专有聊天机器人相媲美。与此同时，研究还展示了大型语言模型自身的内在能力限制了角色特定知识的获取，但通过辅助较小模型的指导可以轻松获得角色扮演风格。

    Jan, 2024

  • 促进大型语言模型在在线求职和招聘中的多角色和多行为协作

    在线招聘服务的出现已经彻底改变了求职和招聘的传统模式，本研究致力于提高个人与职业的匹配度，通过引入模拟面试的过程，从而为候选人评估提供额外的证据，增强了传统基于简历和职位描述的人 - 职位匹配方式。提出了一种创新可行的模拟面试框架 MockLLM，通过面试生成和握手协议中的双方评估两个模块，通过让面试官和候选人之间协同行为来提高其性能，同时设计一种多角色和多行为的角色扮演框架，使单个语言模型代理能够以多个功能有效地与双方交互。此外，还提出了反思记忆生成和动态提示修改技术，以改进双方的行为，实现对增强的额外证据的持续优化。详细的实验结果表明，MockLLM 在人 - 职位匹配和模拟面试质量方面表现出了最佳性能，展示了其在未来在线招聘中的应用前景。

    May, 2024

  • 使用 ChatGPT 的角色扮演模拟游戏

    在本文中，我们展示了如何利用 ChatGPT 在角色扮演的模拟游戏场景中，通过使用大型语言模型（LLMs）来提高教学质量，从而促进学生的积极学习。此外，我们讨论了 LLMs 如何通过允许学生使用 ChatGPT 来练习真实生活场景，从而提高学生的学习兴趣。

    Feb, 2024

  • 角色扮演引导的零样本推理的改进

    通过角色扮演提示方法，在各种推理基准测试中展示了大型语言模型 (LLMs) 的推理能力的提升。

    Aug, 2023

  • 角色互动评估：评估角色扮演代理人的社交互动

    介绍了 RoleInteract，这是第一个旨在系统评估角色扮演对话代理在个体和社交互动组别两个级别上社交性的基准。从各种来源中构建了这个基准，共涵盖了 500 个角色和超过 6,000 个问题提示以及 30,800 个多轮角色扮演话语。通过在主流开源和闭源 LLMs 上进行全面评估，发现在个体水平上表现出色的代理并不意味着其在群体水平上的熟练程度，并且个体的行为可能会受到群体内其他代理的影响而发生漂移。RoleInteract 上的实验结果证实了它作为评估角色扮演对话代理社交互动的测试平台的重要性。该基准在此 https URL 上可公开访问。

    Mar, 2024

  • 关于使用大型语言模型进行角色扮演中的决策能力

    通过评估大型语言模型在角色扮演后的决策能力，验证了角色扮演的有效性，提供了提升大型语言模型在角色扮演任务中决策能力的度量和指导。通过使用大型语言模型生成与 MBTI 人格类型相对应的虚拟角色描述，并设计具体的量化操作来评估大型语言模型在角色扮演后的决策能力，从适应性、探索与利用权衡能力、推理能力和安全性四个方面分析决策能力与相应 MBTI 类型的关联。实验结果表明，不同角色在决策能力的四个方面存在稳定的差异，显示出大型语言模型可以有效地扮演不同角色并体现其真实的社会学特征。

    Feb, 2024