AAAIDec, 2021

使用数据增强和噪声通道模型将基于文档的对话系统适应为口语对话

PDF
TL;DR本文介绍了我们在第十届对话系统技术挑战赛第二轨知识引导的任务导向对话建模中的提交内容。在适应 ASR 转录的噪声方面探索不同的方法来使得模型更加健壮，并采用噪声通道模型来适应口语交流的风格。我们的最佳系统在挑战的自动和人工评估中分别排名第一和第三。
发现论文，激发创造
  • 基于文档支持的任务型对话系统：HLTPR@RWTH 在 DSTC9 和 DSTC10 上的研究

    本文总结了我们在第 9 和 10 个对话系统技术挑战赛（DSTC9 和 DSTC10）的文档驱动对话任务中的贡献，包括知识选择，数据增强，响应生成和评估指标等领域。

    Apr, 2023

  • 面向口语对话的任务导向对话建模的通用模型

    本文介绍了我们在 DSTC-10 上构建对话模型的方法。为缩小口头和书面数据之间的差距，我们采用了大量数据扩增策略，包括人工误差注入和文本转语音转换。我们改良了预训练语言模型，并对每个子任务应用了集成算法，以训练稳健的口头对话模型。我们的方法在官方评估中排名第三，在最终的正式人类评估中排名第二。

    Mar, 2022

  • 使用噪声通道模型在文档驱动对话系统中控制事实性

    本文提出了一种模型，通过 Bayes 定理将其分解为两个部分，其中一个是传统的非基础回应生成模型，另一个是基于对话上下文和生成的回应重建基础文档的模型。我们提出了不同的近似解码方案，并在多个开放域和面向任务的基础对话数据集上评估我们的方法，实验表明该模型在自动事实度指标方面比基线模型更为准确。此外，我们概述了如何介绍组件之间的缩放因子以控制模型输出中的事实度和流畅性之间的权衡。最后，我们将我们的方法与最近提出的用于控制基础对话中事实度的方法 CTRL 进行了比较，并表明这两种方法可以结合起来实现额外的改进。

    Oct, 2022

  • 面向任务的对话中基于非结构化知识的高效检索增强生成

    本文总结了我们在第九届对话系统技术挑战赛（DSTC 9）第一轨中的工作，我们提出了一种基于层次分类和序列嵌入的检索和生成方法，以实现针对任务导向对话中利用非结构化文本信息的回答生成。

    Feb, 2021

  • 可以提供进一步帮助吗？使用非结构化知识访问来改善任务导向的对话建模

    本研究针对限定领域 API 的局限性，采用一种基于查询 - 选择 - 回应的方法，引入了外部非结构化知识资源，通过对话上下文信息的提取和增强实现了对超出 API 覆盖范围用户请求的响应，并在 DSTC9 Track 1 基准数据集上实现了全自动和人工评估的最优性能，验证了我们的贡献的有效性。

    Jun, 2021

  • 适应口语对话的基于文本的对话状态追踪器

    本文描述了我们在 DSTC11 中参与的具有极大成功的模型的工程努力，该模型由三个主要模块组成：(1) 自动语音识别误差校正，(2) 基于文本的对话系统用于估计插槽和值，(3) 后处理用于恢复估计的插槽值的错误。我们的实验证明了对于口语对话语料库，使用明确的自动语音识别误差校正模块、后处理和数据增强对于调整基于文本的对话状态跟踪器至关重要。

    Aug, 2023

  • 针对任务导向对话的噪声通道模型预训练

    使用 Bayes' 定理将任务型对话分解为两个模型，上下文给定回复的分布和回复本身的先验，采用嘈杂信道模型的方法既弱化了解释效应，又允许合理地将大型预先训练的模型纳入回复先验中。大量实验证明，相比于直接解码，嘈杂信道模型具有更好的解码性能，并且采用两阶段预训练策略（同时使用开放领域和任务导向对话数据）可以优于随机初始化的模型。

    Mar, 2021

  • DSTC9 中基于任务的对话建模与非结构化知识访问跟踪的超越领域 API

    任务驱动的对话系统使用外部非结构化知识源来扩展任务领域 API 的覆盖范围，三个任务包括知识寻找、选择和响应生成，并用集成方法和大规模预训练语言模型取得了高性能。

    Jan, 2021

  • 在基于知识的任务导向对话系统中采用加权负采样进行外部知识选择

    本文旨在构建一个具有鲁棒性的口语对话系统，通过引入未结构化的外部知识和采用数据构建、加权负采样、后训练以及风格转换等四种高级方法，完成了 DSTC10-Track2-Task2 的任务，实验表明我们的模型在客观评估中排名第 7，人工评估中排名第 6。

    Sep, 2022

  • 嘈杂信道的力量：无监督端到端任务导向对话的 LLMs

    通过使用未标注的数据和模式定义，我们开发了一种新方法来构建一个完全无监督的面向任务的对话系统，该系统可以在迭代中通过期望最大化方法逐渐改进伪标签，并利用这些标签来训练一个端到端的对话代理，其在 MultiWOZ 基准测试上的成功率超过了强大的 GPT-3.5 基准的两倍。

    Apr, 2024