Apr, 2024

嘈杂信道的力量：无监督端到端任务导向对话的 LLMs

PDF
TL;DR通过使用未标注的数据和模式定义，我们开发了一种新方法来构建一个完全无监督的面向任务的对话系统，该系统可以在迭代中通过期望最大化方法逐渐改进伪标签，并利用这些标签来训练一个端到端的对话代理，其在 MultiWOZ 基准测试上的成功率超过了强大的 GPT-3.5 基准的两倍。
trainingtask-oriented dialogue systemsunlabelled dataapi schemaexpectation-maximization
发现论文，激发创造
  • 面向任务建模的对话状态跟踪的半监督引导

    本文研究了利用半监督学习方法在构建神经对话系统时可以减少中间标签的数量，发现可以利用未注释数据来显著减少对话状态的转换级别注释，同时在 MultiWOZ 语料库上进行了分析并提出了第一个端到端的对话模型。

    Nov, 2019

  • 使用数据增强和噪声通道模型将基于文档的对话系统适应为口语对话

    本文介绍了我们在第十届对话系统技术挑战赛第二轨知识引导的任务导向对话建模中的提交内容。在适应 ASR 转录的噪声方面探索不同的方法来使得模型更加健壮，并采用噪声通道模型来适应口语交流的风格。我们的最佳系统在挑战的自动和人工评估中分别排名第一和第三。

    Dec, 2021

  • 利用 LLMs 进行对话质量测量

    该论文探讨了使用大型语言模型（LLMs）进行自动对话质量评估的方法，并在公共和专有数据集上尝试了各种配置。结果表明，更大的模型产生了更准确的对话标签；算法选择背景上下文示例优于随机选择；在输出最终标签之前，使用 “思维链”（CoT）推理和标签提取过程进行合理化，可以提高性能；精细调整的 LLMs 优于开箱即用的模型。研究结果表明，合适地调整和具有足够推理能力的 LLMs 可以用于自动对话评估。

    Jun, 2024

  • LLM 对于面向任务的对话系统是否足够？

    本研究旨在研究大型语言模型在多轮任务和与外部数据库交互方面的能力，发现在显式信仰状态跟踪方面，它们表现不如专门的任务特定模型，但是如果给出正确的插槽值，它们表现出将对话引导到成功结局的能力，并且在有真实信仰状态分布或域内示例的情况下，这种能力得到了改进。

    Apr, 2023

  • 一种概率型端到端任务导向对话模型及其潜在置信状态，用于半监督学习

    利用潜变量模型及半监督学习的方法实现对于对话系统中的结构化信念状态的分类，且在三份基准数据集上表现优秀，减少了对于标注数据的需求。

    Sep, 2020

  • 针对口语对话理解数据的低成本 LLM 注释研究

    自动增强口语对话语料库中的语义表示的研究，评估了大型语言模型微调的相关性、生成注释所捕捉的知识，以及半自动注释的影响。

    Jun, 2024

  • 针对任务导向对话的噪声通道模型预训练

    使用 Bayes' 定理将任务型对话分解为两个模型，上下文给定回复的分布和回复本身的先验，采用嘈杂信道模型的方法既弱化了解释效应，又允许合理地将大型预先训练的模型纳入回复先验中。大量实验证明，相比于直接解码，嘈杂信道模型具有更好的解码性能，并且采用两阶段预训练策略（同时使用开放领域和任务导向对话数据）可以优于随机初始化的模型。

    Mar, 2021

  • LLM 辅助的半监督式提取式对话摘要

    使用未标记数据进行客户 - 代理商对话的摘要生成，通过将摘要问题建模为问答问题，使用大型语言模型生成伪标签，并通过精细调整专门的聊天总结模型来有效地从大型语言模型中转移知识。

    Nov, 2023

  • 面向任务的对话与上下文学习

    使用大型语言模型（LLMs）的上下文学习能力与业务逻辑的确定执行相结合，描述了一种构建面向任务的对话系统的系统。与主要用于行业的基于意图的 NLU 方法相比较，我们的实验表明，使用我们的系统开发聊天机器人所需的工作量明显较少，这些聊天机器人可以成功地进行复杂对话，并且我们的系统对于大规模任务导向的对话系统具有可扩展的有益特性。我们提供了我们的实现用于使用和进一步研究。

    Feb, 2024

  • 无监督任务型对话中槽位模式识别

    提出了一种无监督的方法来从未标注的对话语料库中识别 slot schema，通过在特定领域的语言模型和无监督的解析结构的帮助下提取候选槽位，并通过从粗到细的聚类来诱导槽类型，显示了该方法在 MultiWoz 和 SGD 数据集上诱导槽模式的显着性能改进，并证明了诱导槽模式对于对话状态跟踪和响应生成的有效性。

    May, 2022