Jul, 2024

MORPHEUS：从个性化对话历史中探索和利用潜在空间建模角色

PDF
TL;DR通过在对话历史中提取角色信息并构建潜在空间中的角色代码书，MORPHEUS 框架通过三阶段训练过程使模型能够泛化到不同角色，从而实现个性化对话生成，无需外部角色数据，并且可以作为大型语言模型的高效微调。
personalized dialogue generationmorpheusmorpheus
发现论文，激发创造
  • 具有隐式用户人设检测的个性化对话生成器

    提出了一种基于用户人格检测的个性化对话生成器，该方法使用条件变分推理建立用户潜在人格模型并利用后验鉴别正则化提高训练效果，在实证研究中实现比现有技术更高的对用户人格关注和提升了对话品质的效果。

    Apr, 2022

  • 通过积极查询提升角色扮演系统：评估与改进

    通过设计 MORTISE 来改进角色扮演 LLMs 的性能，我们构建了具有高度角色相关性的攻击性查询，通过多个基于 LLM 的模块协同努力生成相应的回复，并形成对抗性训练数据集 RoleAD。结果表明，现有模型在角色对齐能力上存在普遍不足，而经过 RoleAD 改进的模型在改善这一不足方面表现出了一定的泛化性。

    Feb, 2024

  • 基于预训练的个性化对话生成模型及面向稀疏信息处理

    本文提出了一种基于预训练的个性化对话模型，利用个人属性嵌入来丰富对话语境，结合注意力路由结构进行解码，从而生成更为连贯且人物一致的回答。

    Nov, 2019

  • 大型语言模型的动态个性生成

    通过使用大型语言模型结合动态个性生成方法，本研究探索并增强了人类思考的模仿能力，特别关注个性方面，在对话数据集上的推进训练使得动态个性生成方法（DPG）在生成个性时具有比传统方法更强的能力，从而超越了基于提示的 GPT-4 模型。

    Apr, 2024

  • 基于角色的对话生成模型无关数据操作方法

    为了构建智能对话代理，针对当前有限的基于人物特征的对话数据不足以很好地训练对话生成模型的问题，提出了一种数据处理方法，该方法适用于任何基于人物特征的对话生成模型以提高其性能，并通过实验表明了其优越性。

    Apr, 2022

  • 个性化对话生成与多元特征

    本研究旨在研究将个性特征应用于对话生成中以提供个性化对话的问题，并提出了一种基于关键 - 值对的嵌入式特征融合模块和两种新颖的特征感知机制，即基于对话者的关注机制和基于对话者的偏置机制，并构建了 PersonalDialog 数据集，该数据集包含来自海量讲话者的具有不同特征的大量多轮对话。实验结果表明，所提出的模型能够在不同情境下处理适当的特征。

    Jan, 2019

  • Persona-DB: 高效的大型语言模型个性化应答预测与协同数据精炼

    通过引入 Persona-DB 框架，本文从一个新的角度考虑数据如何更好地表示，以实现对大型语言模型 (LLMs) 定制过程中更高效的检索，同时在多个实验中展示了 Persona-DB 在任务上下文中的泛化能力和在冷启动情况下的显著改进。

    Feb, 2024

  • 精益求精：学习精化对话历史以进行个性化对话生成

    本文提出基于大规模数据精化用户对话历史记录的 Persona 信息，设计一个 MSP 模型，利用多层信息精化从用户对话历史记录中稀疏提取最有价值的信息，结合其他相似用户数据提高个性化，实验结果表明我们的模型在生成更多信息和个性化响应方面的优越性。

    Apr, 2022

  • MIRACLE：基于潜空间多个个人属性控制的个性化对话生成

    个性化对话系统通过多个个人属性的控制在潜在空间的能量模型中提出了新的个性化对话生成方法，实验证明该方法在个性可控性和响应生成质量方面优于其他基线模型。

    Oct, 2023

  • 捕捉思维，而非语言：使用个性指示数据增强角色扮演语言模型

    我们通过应用特征性数据提升小型角色扮演语言模型，实验证明使用我们的数据集训练的模型在一般和与个性相关的评估中展现了高级角色扮演能力。

    Jun, 2024