May, 2024

智能体生成对话中的说话人验证

PDF
TL;DR最近大型语言模型的成功引起了广泛关注，发展适应不同说话者特征和风格的角色扮演对话代理人以增强其执行一般和特殊目的对话任务的能力，然而，个性化生成话语的能力，无论是由人类还是大型语言模型进行，尚未得到很好的研究。为了填补这一差距，我们的研究引入了一个新颖的评估挑战：在代理人生成的对话中进行说话人验证，目的是验证两组话语是否来自同一个说话人。为此，我们收集了一个包含数千名发言人及其话语的大型数据集，并开展了实验设置下的说话人验证模型的开发和评估。我们进一步利用说话人验证模型评估了基于大型语言模型的角色扮演模型的个性化能力。全面的实验表明，当前的角色扮演模型未能准确模仿说话者，主要原因是它们固有的语言特点。
large language modelsconversational agentspersonalizationspeaker verificationrole-playing models
发现论文，激发创造
  • 大型语言模型在语言学习中的口语智能

    评估大语言模型在教育中的功效，特别是在口语学习领域，引入新的多选题数据集评估模型在理解和应用口语知识方面的表现，研究不同提示技术对模型性能的影响，发现模型在音韵学、语音学和第二语言习得方面具有良好的概念理解，但在解决现实世界问题的推理方面存在限制，并初步探讨了对话交流的发现。

    Aug, 2023

  • 通过自我对话增强基于 LLM 的任务导向对话系统

    通过使用大型语言模型进行自我对话的方法可以改进对话质量并生成用于训练的自我对话数据集。

    Jan, 2024

  • 利用 LLMs 进行对话质量测量

    该论文探讨了使用大型语言模型（LLMs）进行自动对话质量评估的方法，并在公共和专有数据集上尝试了各种配置。结果表明，更大的模型产生了更准确的对话标签；算法选择背景上下文示例优于随机选择；在输出最终标签之前，使用 “思维链”（CoT）推理和标签提取过程进行合理化，可以提高性能；精细调整的 LLMs 优于开箱即用的模型。研究结果表明，合适地调整和具有足够推理能力的 LLMs 可以用于自动对话评估。

    Jun, 2024

  • 角色扮演的模版框架：生成与评估

    使用大型语言模型（LLM）构建角色扮演对话数据集并评估性能的框架，并使用召回导向的 Rouge-L 指标支持 LLM 评估器的结果。

    Jun, 2024

  • 借助大语言模型生成忠实的以人为基础的对话数据集

    通过建立 Generator-Critic 架构，使用 LLM 生成会话，借助 Synthetic-Persona-Chat 评估了高质量对话数据集对 NLP 模型的影响。

    Dec, 2023

  • 大型语言模型在与人类辩论的局限性

    当前的研究论文测试了大型语言模型（LLMs）的可行性，作为人工代理人参与社会学实验中的对话活动，揭示了 LLMs 在辩论中的限制，以及其对人类的影响和能力。

    Feb, 2024

  • 互动中的 LLM Agents：大型语言模型互动群体中个性一致性和语言对齐的测量

    我们在 GPT-3.5 上通过提示方式进行个性化训练，创建了一组双组群体的 LLM 代理，然后进行个性测试并将代理提交到协作写作任务中，发现不同个性表现出不同程度的人格一致性和语言对话伙伴的语言协调性。我们的研究旨在为更好地理解 LLMs 之间基于对话的交互奠定基础，并强调了在交互环境中塑造稳健且更具人性的 LLM 个性的新方法的需求。

    Feb, 2024

  • 使用大型语言模型进行任务导向对话评估的用户模拟

    为了推动自动化任务导向对话系统的评估，本研究提出了一种基于预训练语言模型的新型用户模拟器，并通过上下文学习来生成具有鲁棒性和语言多样性的输出，以模拟人类对话行为。通过与现有对话系统交互，并收集人机交互数据集，验证了该用户模拟器在单一意图对话目标方面的表现与人类相似。

    Sep, 2023

  • 阿波罗尼奥：以个人资料为中心的对话代理

    该研究提出一种框架，将用户个性化纳入对话代理中，通过分析和组织用户的查询和响应形成结构化用户资料，以提供个性化和更精确的响应，并提出了一系列评估协议来衡量个性化程度。

    Apr, 2024

  • SimsChat：一个可定制的角色扮演代理

    大型语言模型（LLMs）能够理解人类指令并生成高质量的文本，使它们能够模拟人类行为并超越简单的复制。本研究介绍了可定制的对话代理框架，利用 LLMs 模拟真实世界中可以根据用户偏好自由定制的角色。提出了 SimsConv 数据集和 SimsChat 对话代理，模拟不同情景下角色的生活经历和特定情感的专题交互。实验证明该框架取得了令人满意的性能，并为未来构建更好的人类模拟提供了有益的指导。

    Jun, 2024