WWWFeb, 2022

基于序列化对话行为建模的目标导向会话系统用户满意度评估

PDF
TL;DR本文提出了一种新的框架 USDA，采用分层 Transformer 编码整个对话上下文，并发展了两种 USDA 变体，以捕捉有监督或无监督方式的对话行为信息，在预测用户满意度时，结合了内容和行为特征的时序转换。在四个基准目标导向的对话数据集上的实验证明，所提出的方法在用户满意度估计方面显著且一致地优于现有方法，并验证了对话行为序列在 USE 中的重要作用。
user satisfaction estimationgoal-oriented conversational systemsdialogue act recognitionhierarchical transformersequential transitions
发现论文，激发创造
  • 通过 Hawkes 过程建模对话中用户满意度的动态变化

    本文提出了一种基于 Hawkes 过程的用户满意度评估器 ASAP，可以更好地模拟对话中用户满意度的动态变化，实验结果表明 ASAP 可以显著优于现有评估器。

    May, 2023

  • 基于任务导向对话系统用户满意度的模拟评估

    通过提出用户满意度注释数据集，构建类人用户模拟器来衡量对话质量

    May, 2021

  • 大规模语言模型中可解释的对话系统用户满意度评估

    使用迭代提示框架和标记示例的监督下，通过学习得到的评分标准，文中提出了一种更高准确率且更易解释的用户满意度估计方法 ——SPUR，并证明了 LLMs 在从自然语言表达中更有效地提取用户满意度信号。

    Mar, 2024

  • 基于架构指导的任务导向对话用户满意度建模

    本文提出了一种基于预训练语言模型的新型模式指导的用户满意度建模框架 ——SG-USM，该框架可以明确地模拟任务架构，通过寻找任务属性的实现程度以及任务属性的重要性计算用户的满意度，实验结果表明，该方法在竞争对手方法中表现出色，可以提高用户满意度建模的可解释性，在应对新任务和利用无标签数据方面也具有很好的可扩展性。

    May, 2023

  • 基于序列到序列模型的口语对话系统用户模拟

    本文介绍了一种基于编码 - 解码循环神经网络的数据驱动用户模拟器，能够更具上下文准确输出用户意图，相较于基于议程和 n-gram 的模拟器，在 DSTC2 数据集上获得更高的 F-score，展示了更精细分类用户行为的能力。

    Jun, 2016

  • 面向任务对话的用户建模

    本论文提出一种基于神经网络的端到端用户仿真模型，用于对话系统的自动评估和训练，采用分层序列到序列模型，并利用隐变量模型引入随机变化，以提高仿真用户响应的多样性，并制定了目标正则化机制，以惩罚用户对初始用户目标的偏离。

    Nov, 2018

  • 任务导向对话系统中用户满意度估计的因果评估

    利用大型语言模型 (LLMs) 生成注重满意度的反事实对话以增加测试集中的原始对话样本，并通过人工注释验证，研究表明，与最先进的微调模型相比，开源的大型语言模型作为少样本的用户满意度评估器，在测试集中不满意标签数量的增加时表现出更高的鲁棒性。

    Mar, 2024

  • 多领域对话中的联合转向和对话级别用户满意度估计

    提出了一种新颖的用户满意度估计方法，它可通过 BiLSTM 深度神经网络模型共同预测专家提供的转化级别响应质量标签和最终用户提供的显式对话级别评分，并自动权衡每个操作对估计对话级别评分的贡献，隐式编码时间依赖关系，无需手工制作特征。在 28 个 Alexa 领域、两个对话系统和三个用户组的对话中，综合对话级满意度估计模型比基准深度神经网络和梯度提升回归模型在线性相关性能上实现了最高达 27%（0.43->0.70）和 7%（0.63->0.70）的提升。

    Oct, 2020

  • 通过用户满意度估计进行多域会话质量评估

    本文提出了一种新的基于响应质量注释方法的自动化指标，通过引入五个新的与领域无关的特性集，实现了在单轮和对话层面上估计用户满意度的机器学习模型，并取得了较高的预测表现。

    Nov, 2019

  • 一种基于 Transformer 的 DuerOS 主动交互机制用户满意度预测

    通过 proactive interaction mechanism 预测并提升用户满意度，本文提出了在 DuerOS 中使用基于 transformer 的模型进行大规模的用户满意度预测，能够有效提高用户体验。

    Dec, 2022