May, 2023

基于架构指导的任务导向对话用户满意度建模

PDF
TL;DR本文提出了一种基于预训练语言模型的新型模式指导的用户满意度建模框架 ——SG-USM，该框架可以明确地模拟任务架构，通过寻找任务属性的实现程度以及任务属性的重要性计算用户的满意度，实验结果表明，该方法在竞争对手方法中表现出色，可以提高用户满意度建模的可解释性，在应对新任务和利用无标签数据方面也具有很好的可扩展性。
user satisfaction modelingtask-oriented dialogue systemssg-usmfulfillment representation layerimportance predictor component
发现论文，激发创造
  • 基于任务导向对话系统用户满意度的模拟评估

    通过提出用户满意度注释数据集，构建类人用户模拟器来衡量对话质量

    May, 2021

  • 基于序列化对话行为建模的目标导向会话系统用户满意度评估

    本文提出了一种新的框架 USDA，采用分层 Transformer 编码整个对话上下文，并发展了两种 USDA 变体，以捕捉有监督或无监督方式的对话行为信息，在预测用户满意度时，结合了内容和行为特征的时序转换。在四个基准目标导向的对话数据集上的实验证明，所提出的方法在用户满意度估计方面显著且一致地优于现有方法，并验证了对话行为序列在 USE 中的重要作用。

    Feb, 2022

  • 大规模语言模型中可解释的对话系统用户满意度评估

    使用迭代提示框架和标记示例的监督下，通过学习得到的评分标准，文中提出了一种更高准确率且更易解释的用户满意度估计方法 ——SPUR，并证明了 LLMs 在从自然语言表达中更有效地提取用户满意度信号。

    Mar, 2024

  • 基于模式引导的零 - shot 对话范式

    通过显式地提供特定任务对话策略，提出了 Schema Attention Model (SAM) 和改进版 Schema 表示来解决零 - shot 迁移学习问题，在 Star 语料库上验证了 SAM 在零 - shot 模式下的显著改善，F1 值提高了 22 个点。

    Jun, 2021

  • 使用基于架构的提示的语言模型实现对话状态跟踪

    提出了一种新颖的基于预训练语言模型的任务驱动对话状态追踪方法，利用基于模式的提示和模式描述提高了性能，适用于多个基准测试（MultiWOZ 2.2、MultiWOZ 2.1 和 M2M），实现了最先进的性能。

    Sep, 2021

  • 任务导向对话系统中用户满意度估计的因果评估

    利用大型语言模型 (LLMs) 生成注重满意度的反事实对话以增加测试集中的原始对话样本，并通过人工注释验证，研究表明，与最先进的微调模型相比，开源的大型语言模型作为少样本的用户满意度评估器，在测试集中不满意标签数量的增加时表现出更高的鲁棒性。

    Mar, 2024

  • 将口语理解任务与集成对话历史联合建模

    该研究旨在构建一种新型的自动预测语音理解系统，该系统利用历史对话信息预测口语意图、对话行为、说话人角色和情感等四种属性，并采用自回归模型和无序训练方法，以应对不同 SLU 任务的高效率和低延迟问题。实验证明，该系统与任务特定的分类器相当，并可有效整合对话环境以进一步提高 SLU 性能。

    May, 2023

  • 释放用户反馈潜力：利用大型语言模型作为用户模拟器来增强对话系统

    采用 User-Guided Response Optimization 来结合 LLMs 和较小的 TOD 模型并利用 LLMs 生成用户模拟反馈来优化 TOD 模型，实验结果表明我们的方法优于现有最佳方法。

    Jun, 2023

  • 基于树形重述排名的更健壮的模式引导对话状态跟踪

    使用树形排序的生成模型，优化模型的语法多样性和语义忠实度，使其适用更广泛的任务。将合成的数据添加到基线模型的训练集中，可以显著提高其平均联合目标准确性和模式灵敏度。

    Mar, 2023

  • 无监督任务型对话中槽位模式识别

    提出了一种无监督的方法来从未标注的对话语料库中识别 slot schema，通过在特定领域的语言模型和无监督的解析结构的帮助下提取候选槽位，并通过从粗到细的聚类来诱导槽类型，显示了该方法在 MultiWoz 和 SGD 数据集上诱导槽模式的显着性能改进，并证明了诱导槽模式对于对话状态跟踪和响应生成的有效性。

    May, 2022