Dec, 2022

一种基于 Transformer 的 DuerOS 主动交互机制用户满意度预测

PDF
TL;DR通过 proactive interaction mechanism 预测并提升用户满意度，本文提出了在 DuerOS 中使用基于 transformer 的模型进行大规模的用户满意度预测，能够有效提高用户体验。
spoken dialogue systemsproactive interaction mechanismuser satisfaction predictionduerostransformer-based model
发现论文，激发创造
  • 基于任务导向对话系统用户满意度的模拟评估

    通过提出用户满意度注释数据集，构建类人用户模拟器来衡量对话质量

    May, 2021

  • 任务导向对话系统中用户满意度估计的因果评估

    利用大型语言模型 (LLMs) 生成注重满意度的反事实对话以增加测试集中的原始对话样本，并通过人工注释验证，研究表明，与最先进的微调模型相比，开源的大型语言模型作为少样本的用户满意度评估器，在测试集中不满意标签数量的增加时表现出更高的鲁棒性。

    Mar, 2024

  • 自动对话评估的用户响应和情感预测

    本文提出了三种方法，利用情感分析对开放域对话进行自动评估，并在书面和口头对话数据集上胜过现有的自动评估指标。

    Nov, 2021

  • 通过用户满意度估计进行多域会话质量评估

    本文提出了一种新的基于响应质量注释方法的自动化指标，通过引入五个新的与领域无关的特性集，实现了在单轮和对话层面上估计用户满意度的机器学习模型，并取得了较高的预测表现。

    Nov, 2019

  • 多领域对话中的联合转向和对话级别用户满意度估计

    提出了一种新颖的用户满意度估计方法，它可通过 BiLSTM 深度神经网络模型共同预测专家提供的转化级别响应质量标签和最终用户提供的显式对话级别评分，并自动权衡每个操作对估计对话级别评分的贡献，隐式编码时间依赖关系，无需手工制作特征。在 28 个 Alexa 领域、两个对话系统和三个用户组的对话中，综合对话级满意度估计模型比基准深度神经网络和梯度提升回归模型在线性相关性能上实现了最高达 27%（0.43->0.70）和 7%（0.63->0.70）的提升。

    Oct, 2020

  • 自监督对比学习：面向对话代理的高效用户满意度预测

    该研究开发了一种利用自监督对比学习和少样本迁移学习的方法，能显著减少标注数目，并提高面向未知领域技能的泛化性能。

    Oct, 2020

  • 使用因果推论模型改进开放领域对话评估

    本文探索了预测针对开放领域对话的专家和用户评分的自动化方法，比较了四种不同的方法，其中提出的 counterfactual-LSTM (CF-LSTM) 模型在对话评分和分类方面的表现最好。

    Jan, 2023

  • 基于序列化对话行为建模的目标导向会话系统用户满意度评估

    本文提出了一种新的框架 USDA，采用分层 Transformer 编码整个对话上下文，并发展了两种 USDA 变体，以捕捉有监督或无监督方式的对话行为信息，在预测用户满意度时，结合了内容和行为特征的时序转换。在四个基准目标导向的对话数据集上的实验证明，所提出的方法在用户满意度估计方面显著且一致地优于现有方法，并验证了对话行为序列在 USE 中的重要作用。

    Feb, 2022

  • 基于用户满意度评估的领域无关的对话质量评估

    该研究提出了一种新的 Response Quality 标注方案，基于此开发了一种新的以轮为单位的用户满意度量。使用五个新的与领域无关的特征集和六种机器学习模型来估算新的满意度量，方法显著提高了模型性能和泛化能力。

    Aug, 2019

  • 利用用户情感进行自动对话评估

    本文提出使用自动提取的信息作为衡量已有机器人回答质量的替代方法，从而避免了对人工标注数据的依赖，实现对弱监督数据的训练，并添加了对口语和书面语的支持。

    Mar, 2022