Feb, 2024

度量和控制语言模型对话中的角色漂移

PDF
TL;DR通过自我会话测试，我们评估了个性化聊天机器人之间的身份稳定性，并揭示了频繁的身份转化现象。通过经验和理论分析，我们发现 Transformer 注意机制的衰退是造成这一现象的原因。为了解决注意力衰退和身份转化问题，我们提出了一种轻量级方法称为 split-softmax，并与两个强基线模型进行了比较。
promptinglanguage-model chatbotspersonapersona stabilitysplit-softmax
发现论文，激发创造
  • 通过提示逼近人类对社交聊天机器人的评估

    提出了一种利用 GPT 模型进行对话系统评估的新框架，通过对模型进行特定条件训练来生成评估指标，采用少量的演示和指导进行提示，可以在自动化评估过程中取得与人类评价高度相关的结果。

    Apr, 2023

  • PersonalityChat: 基于事实和特征的个性化对话建模的会话提炼

    本文利用大型语言模型（LLM）通过个性化对话生成，基于个人特点和人格特质创建了一个合成对话数据集，从而证明了个性化对话模型和与 PersonaChat 相比的表现优势。

    Jan, 2024

  • 使用 Prompt-Tuning 构建个性化对话系统

    本研究通过使用 persona 来建立具有一致性反应的对话系统，提出了一种基于预训练的大型语言模型的 prompt 调节方法，在英语和日语方面的自动和手动评估结果表明，这种方法可以建立具有更自然和个性化反应的对话系统，而且计算资源较少。

    Jun, 2022

  • 个性化回复选择的即插即用人设提示技术 P5

    利用个人化引导的基于检索的聊天机器人在个性化对话中至关重要，但存在几个需要解决的挑战。为了解决这些挑战，我们提出了一种即插即用的个人化提示方法，该系统可以作为标准开放域聊天机器人使用，同时降低对个人化训练数据的依赖，提供更好的性能。这是首次使用提示序列解决个性化响应选择问题。

    Oct, 2023

  • 具有隐式用户人设检测的个性化对话生成器

    提出了一种基于用户人格检测的个性化对话生成器，该方法使用条件变分推理建立用户潜在人格模型并利用后验鉴别正则化提高训练效果，在实证研究中实现比现有技术更高的对用户人格关注和提升了对话品质的效果。

    Apr, 2022

  • 通过角色扩展来提高对话中的人格一致性

    该论文提出了一种新的检索到预测范例来解决个性化聊天机器人中 OOP 问题，并通过采用实际人物进行后验转换来进一步缓解训练和推理之间的差距。并通过 IT-ConvAI2 和 ConvAI2 的广泛实验表明，我们提出的模型在自动指标和人类评估方面都取得了可观的改进。

    Aug, 2022

  • 大规模多参与者生成对话建模

    本文提出了一种新的对话代理模型 ——Generative Conversation Control，它能够控制对话代理的个性，并通过控制该模型上一次与目标演员的对话，实现对话代理个性的表达，该模型在 Reddit 评论数据上进行了验证和评估，其效果得到了显著提高。

    May, 2020

  • 运用大型语言模型强化聊天机器人以搜集用户自报数据

    本研究旨在探讨如何设计自然语言提示以使聊天机器人能够自然地进行对话，从而可靠地收集用户自报数据。通过在线研究（N = 48），我们通过不同的自然语言提示设计和对话主题对聊天机器人进行了评估，并发现提示设计和主题显着影响了对话流程和数据收集表现。

    Jan, 2023

  • 使用零样本提示学习控制对话中的人格风格

    本文探讨了基于提示的学习在控制自然语言生成模型的人格和语义准确性方面的效果，结果表明，提示生成的输出会产生更好的语义准确性和人格准确性，特别是在语义风格转移提示的情况下，同时没有前人在此方面的探索。

    Feb, 2023

  • 借助大语言模型生成忠实的以人为基础的对话数据集

    通过建立 Generator-Critic 架构，使用 LLM 生成会话，借助 Synthetic-Persona-Chat 评估了高质量对话数据集对 NLP 模型的影响。

    Dec, 2023