ACLMay, 2024

TimeChara：评估角色扮演大型语言模型的时点角色幻象

PDF
TL;DR使用大型语言模型（LLMs）进行角色扮演可以增强用户的叙事沉浸感，避免剧透，并促进粉丝的参与，在此基础上，引入 TimeChara 作为评估角色幻觉问题的新基准，并提出 Narrative-Experts 方法来有效减少角色幻觉问题，但该研究发现角色幻觉问题仍然存在挑战，需要进一步研究。
large language modelsrole-playing agentspoint-in-time role-playingcharacter hallucinationtimechara
发现论文，激发创造
  • 缓解虚构角色扮演中的幻觉

    我们研究了虚构角色角色扮演中幻觉的评估和减轻方法，提出了一种名为 RoleFact 的角色扮演方法，通过调节参数化知识的影响来减轻幻觉，并且实验证明该方法在对抗性问题的实际准确性提高了 18％，并且对于时间敏感的访谈减少了 44％的时间幻觉。

    Jun, 2024

  • 人物塑造命运：大型语言模型能否模拟以角色扮演为驱动的决策？

    大型语言模型在决策中是否可以替代人类是一个近期的研究课题。本研究中，我们通过使用高质量小说中的人物分析数据构建了 LIFECHOICE 数据集，并进行了多项实验，研究了 LLMs 在以人物为驱动的决策中的能力。结果表明，目前的 LLMs 在此任务中显示出有希望的能力，但仍有很大的改进空间。因此，我们进一步提出了基于人物记忆检索的 CHARMAP 方法，通过该方法可以获得 6.01％的准确率提升。我们将公开提供我们的数据集和代码。

    Apr, 2024

  • 大规模法律虚构：对大型语言模型中的法律幻觉进行剖析

    律师常见的经验法则错误假设对大型语言模型的查询及其常见的法律幻觉有极高百分比的影响，通过比较与结构化法律元数据的调查结果，并研究法律规定的一系列查询结果，我们开发了一种法律幻觉的分类方法，并提醒了不应迅速自主将流行的大型语言模型整合到法定任务中。

    Jan, 2024

  • 角色扮演的可训练代理 - Character-LLM

    大型语言模型（LLMs）可以用作代理来模拟人类行为，具备理解人类指令和生成高质量文本的强大能力。本研究旨在训练一个代理，拥有特定人物的个人资料、经历和情感状态，而不是使用有限的提示来指导 ChatGPT API。为了评估我们方法的有效性，我们建立了一个测试场，对训练的代理进行面试并评估其是否记忆了所扮演的角色和经历。实验结果呈现有趣的观察结果，有助于构建未来人类的模拟体。

    Oct, 2023

  • 幻觉检测与幻觉减缓：一项研究

    大型语言模型（如 ChatGPT、Bard 和 Llama）在不同领域的应用中取得了显著的成功。然而，虚假生成是限制其广泛应用的关键问题。本报告意在综述虚假生成检测和虚假生成减轻的现有文献，旨在为对大型语言模型和将其应用于实际任务感兴趣的工程师和研究人员提供参考。

    Jan, 2024

  • 基于马尔可夫链的多主体辩论框架用于检测 LLM 虚构

    我们提出了基于马尔可夫链的多代理辩论验证框架，用于增强简要声明中的错误检测准确性，并通过包括声明检测、证据检索和多代理验证在内的事实检查过程集成验证的方法。实验证明，我们的方法在三个生成任务中相比基准线实现了显著改进。

    Jun, 2024

  • 小型代理也能出色！强化小型语言模型作为幻觉检测器

    通过使用较小型的语言模型以及多功能工具箱，设计了一个细粒度的三阶段检测框架，结合记忆机制，实现了 HalullAgent，使其能够主动选择适合的工具来检测多种幻觉类型，包括文本、代码和数学表达式，并利用中英文数据集进行合成检测轨迹以实现双语幻觉检测。大量实验证明，仅使用 2K 样本进行调优，HaluAgent 可以在各种任务和数据集上执行幻觉检测，在领域内和领域外数据集上实现与甚至超过 GPT-4 的性能而无需工具增强。

    Jun, 2024

  • RoleLLM：大型语言模型角色扮演能力的基准、激发和增强

    RoleLLM 是一种框架，用于在大规模语言模型中评估和增强角色扮演能力。通过 Context-Instruct 和 RoleGPT，我们创建了 RoleBench，这是角色扮演的第一个系统性和细致的基于角色的基准数据集，该数据集包含 168,093 个样本。此外，通过 RoleBench 上的 RoCIT，我们获得了 RoleLLaMA（英文）和 RoleGLM（中文），显著增强了角色扮演的能力，甚至与使用 GPT-4 的 RoleGPT 的结果相当。

    Oct, 2023

  • 大型语言模型中最小化事实不一致和幻觉

    提出了一个多阶段的框架，通过生成合理的依据并验证修正错误，将其作为支持参考生成答案，提高了 GPT-3.5-turbo 在生命科学行业药物相关查询中的响应质量。该框架使得 GPT-3.5-turbo 对两个数据集的答案更可靠和准确，并通过与商业模型进行竞争，提高了小型开放访问的 LLMs 的准确性。

    Nov, 2023

  • 通过虚构作品进行人物建模评估大型语言模型的人物理解能力

    我们提出使用角色概况任务来评估大型语言模型（LLMs）的角色理解能力，通过从对应的材料中总结角色概况，构建 CroSS 数据集并比较与下游任务的适用性，我们的实验结果强有力地验证了 LLMs 的角色理解能力，并且我们相信我们构建的资源将促进该领域的进一步研究。

    Apr, 2024