大规模语言模型是所有字符的叠加：通过自我对齐实现任意角色扮演

Jan, 2024

大规模语言模型是所有字符的叠加：通过自我对齐实现任意角色扮演

Large Language Models are Superpositions of All Characters: Attaining Arbitrary Role-play via Self-Alignment

Keming Lu, Bowen Yu, Chang Zhou, Jingren Zhou

TL;DR本研究通过利用大规模训练语料库中角色知识，提出了一种自对齐的角色扮演方法 Ditto，其将一个在读解问题上进行指令遵循的大型语言模型调整为模拟角色扮演对话。通过使用自动生成的角色扮演训练数据集对模型进行微调，Ditto 展现出在多轮对话中一致的角色身份和准确的角色特定知识，性能高于其他开源角色扮演基准，并与先进的专有聊天机器人相媲美。与此同时，研究还展示了大型语言模型自身的内在能力限制了角色特定知识的获取，但通过辅助较小模型的指导可以轻松获得角色扮演风格。

Abstract

Considerable efforts have been invested in augmenting the role-playing proficiency of open-source large language models (LLMs) by emulating proprietary counterparts. Nevertheless, we posit that LLMs inherently harbor ro

open-source large language models role-play ditto role-playing capabilities reading comprehension

发现论文，激发创造

RoleLLM：大型语言模型角色扮演能力的基准、激发和增强

RoleLLM 是一种框架，用于在大规模语言模型中评估和增强角色扮演能力。通过 Context-Instruct 和 RoleGPT，我们创建了 RoleBench，这是角色扮演的第一个系统性和细致的基于角色的基准数据集，该数据集包含 168,093 个样本。此外，通过 RoleBench 上的 RoCIT，我们获得了 RoleLLaMA（英文）和 RoleGLM（中文），显著增强了角色扮演的能力，甚至与使用 GPT-4 的 RoleGPT 的结果相当。

Oct, 2023

人物塑造命运：大型语言模型能否模拟以角色扮演为驱动的决策？

大型语言模型在决策中是否可以替代人类是一个近期的研究课题。本研究中，我们通过使用高质量小说中的人物分析数据构建了 LIFECHOICE 数据集，并进行了多项实验，研究了 LLMs 在以人物为驱动的决策中的能力。结果表明，目前的 LLMs 在此任务中显示出有希望的能力，但仍有很大的改进空间。因此，我们进一步提出了基于人物记忆检索的 CHARMAP 方法，通过该方法可以获得 6.01％的准确率提升。我们将公开提供我们的数据集和代码。

Apr, 2024

通过合成反馈对齐大型语言模型

本研究提出了一个新的框架，利用奖励建模 (RM) 方法和模拟高质量演示来进行对齐语言模型的训练，避免了对已对齐的 LLMs 的依赖，这种方法的结果是，我们的模型 ALMoST 在对 InstructGPT 或人工注释指令训练的开放源代码模型中表现良好，我们的 7B 大小的模型在使用 GPT-4 作为评判员的 A /B 测试中表现优异，平均获胜率约为 75％。

May, 2023

角色扮演的模版框架：生成与评估

使用大型语言模型（LLM）构建角色扮演对话数据集并评估性能的框架，并使用召回导向的 Rouge-L 指标支持 LLM 评估器的结果。

Jun, 2024

基于大型语言模型的零射击提示在开放域人机对话中的角色扮演

采用角色扮演零样本提示作为一种高效且经济有效的方法，本研究使用能遵守指令的多语言 LLM（Beeching 等，2023 年）进行开放领域对话，并设计了一个提示系统，与 Vicuna（Chiang 等，2023 年）模型相结合，产生与精调模型在两个不同任务的人类评估中相匹配甚至超越的对话代理。

Jun, 2024

促进大型语言模型在在线求职和招聘中的多角色和多行为协作

在线招聘服务的出现已经彻底改变了求职和招聘的传统模式，本研究致力于提高个人与职业的匹配度，通过引入模拟面试的过程，从而为候选人评估提供额外的证据，增强了传统基于简历和职位描述的人 - 职位匹配方式。提出了一种创新可行的模拟面试框架 MockLLM，通过面试生成和握手协议中的双方评估两个模块，通过让面试官和候选人之间协同行为来提高其性能，同时设计一种多角色和多行为的角色扮演框架，使单个语言模型代理能够以多个功能有效地与双方交互。此外，还提出了反思记忆生成和动态提示修改技术，以改进双方的行为，实现对增强的额外证据的持续优化。详细的实验结果表明，MockLLM 在人 - 职位匹配和模拟面试质量方面表现出了最佳性能，展示了其在未来在线招聘中的应用前景。

May, 2024

示范而非说明：用示范反馈来对齐语言模型

通过使用在线比较数据与用户示范作为反馈，DITTO 方法通过设置少量示范来将语言模型输出与用户的行为对齐，有效地进行语言模型的个性定制。

Jun, 2024

通过积极查询提升角色扮演系统：评估与改进

通过设计 MORTISE 来改进角色扮演 LLMs 的性能，我们构建了具有高度角色相关性的攻击性查询，通过多个基于 LLM 的模块协同努力生成相应的回复，并形成对抗性训练数据集 RoleAD。结果表明，现有模型在角色对齐能力上存在普遍不足，而经过 RoleAD 改进的模型在改善这一不足方面表现出了一定的泛化性。

Feb, 2024

通过虚构作品进行人物建模评估大型语言模型的人物理解能力

我们提出使用角色概况任务来评估大型语言模型（LLMs）的角色理解能力，通过从对应的材料中总结角色概况，构建 CroSS 数据集并比较与下游任务的适用性，我们的实验结果强有力地验证了 LLMs 的角色理解能力，并且我们相信我们构建的资源将促进该领域的进一步研究。

Apr, 2024

基于垄断对话社会场景模拟的大型语言模型自对齐

通过社会情境模拟，本研究提出一种新的大语言模型（LLM）自我对齐方法（MATRIX），使 LLM 在回答问题之前考虑社会后果，并通过 MATRIX-simulated 数据对 LLM 进行微调，保证了对人类价值观的遵循和推理速度。实验证明，该方法在 4 个基准测试中优于 10 多个基线，通过 875 位用户评价表明，我们的调整后的 13B 规模 LLM 在与人类价值观的对齐方面超越了 GPT-4。

Feb, 2024