ACLMar, 2021

针对任务导向对话的噪声通道模型预训练

PDF
TL;DR使用 Bayes' 定理将任务型对话分解为两个模型，上下文给定回复的分布和回复本身的先验，采用嘈杂信道模型的方法既弱化了解释效应，又允许合理地将大型预先训练的模型纳入回复先验中。大量实验证明，相比于直接解码，嘈杂信道模型具有更好的解码性能，并且采用两阶段预训练策略（同时使用开放领域和任务导向对话数据）可以优于随机初始化的模型。
task-oriented dialoguebayes' theoremnoisy channel modelpretrained modelspretraining strategy
发现论文，激发创造
  • 神经机器翻译的简单而有效的噪声信道建模

    本文探讨了基于标准序列到序列模型的神经嘈杂信道建模方法，实验结果表明这种方法在四个语言对的翻译任务中表现优异，尤其在 WMT'17 的德英翻译任务中，其 BLEU 分数比直接模型高出 3.2 分。

    Aug, 2019

  • 使用数据增强和噪声通道模型将基于文档的对话系统适应为口语对话

    本文介绍了我们在第十届对话系统技术挑战赛第二轨知识引导的任务导向对话建模中的提交内容。在适应 ASR 转录的噪声方面探索不同的方法来使得模型更加健壮，并采用噪声通道模型来适应口语交流的风格。我们的最佳系统在挑战的自动和人工评估中分别排名第一和第三。

    Dec, 2021

  • 使用噪声通道模型在文档驱动对话系统中控制事实性

    本文提出了一种模型，通过 Bayes 定理将其分解为两个部分，其中一个是传统的非基础回应生成模型，另一个是基于对话上下文和生成的回应重建基础文档的模型。我们提出了不同的近似解码方案，并在多个开放域和面向任务的基础对话数据集上评估我们的方法，实验表明该模型在自动事实度指标方面比基线模型更为准确。此外，我们概述了如何介绍组件之间的缩放因子以控制模型输出中的事实度和流畅性之间的权衡。最后，我们将我们的方法与最近提出的用于控制基础对话中事实度的方法 CTRL 进行了比较，并表明这两种方法可以结合起来实现额外的改进。

    Oct, 2022

  • 神经噪声信道

    本文利用循环神经网络来参数化源模型和信道模型，将序列到序列的转移问题表述为噪声信道译码问题。实验结果表明，相较于直接模型，噪声信道模型在抽象句子摘要、形态学拐点和机器翻译方面表现更佳，并且可以从未配对的输出数据中获得显著的收益。

    Nov, 2016

  • 嘈杂信道的力量：无监督端到端任务导向对话的 LLMs

    通过使用未标注的数据和模式定义，我们开发了一种新方法来构建一个完全无监督的面向任务的对话系统，该系统可以在迭代中通过期望最大化方法逐渐改进伪标签，并利用这些标签来训练一个端到端的对话代理，其在 MultiWOZ 基准测试上的成功率超过了强大的 GPT-3.5 基准的两倍。

    Apr, 2024

  • 基于无噪声通道语言模型的少样本文本分类

    介绍了一种嘈杂通道方法来进行少样本文本分类中的语言模型提示。实验表明，使用嘈杂通道模型可显著优于直接模型，特别适用于训练样本小，训练数据标签不平衡或需要推广到未见标签的情况。

    Aug, 2021

  • 多任务学习在开放域对话系统中的实证研究

    研究使用辅助任务对自回归模型进行改进，提高其在开放域对话生成中的长期语境处理和一致性维护，结果在小型和中型的 GPT-2 模型上表明引入新的辅助任务虽然有所改进，但仍有发展空间。

    Apr, 2023

  • 在开放域对话系统中使用反向推理来提高响应质量

    本文提出一种双向推理的生成模型，通过向基础的编码解码模型添加后向推理步骤，推动模型产生更多信息丰富、连贯的回复，实现了双向优化，最终提升了响应质量，成为当前响应质量最好的方法之一。

    Apr, 2021

  • 使用含有噪音的预训练技术进行问题的神经换句识别

    本文针对问题的释义识别问题提出了一种新的解决方案，该方案采用可分解注意力模型（Parikh et al.，2016）的一种变种，在二元释义标签的问题对数据集上表现出了极高的准确性。同时，该模型的简单性超过了许多竞争的神经结构。在预训练模型时，还可以使用自动收集的问题释义数据集，取得该数据集上最好的性能表现。

    Apr, 2017

  • 从沙子中筛选更多的金子：利用有噪声的自我检索生成优化开放域对话训练

    通过引入 BERTScore 提高证据质量，构建 retrieval-generation 训练框架，利用信息丰富但杂乱无章的对话数据，能使模型生成更好的响应，甚至比扩大培训集带来更好的性能提升。

    Jan, 2022