Sep, 2020

使用自监督任务学习有效的上下文 - 回复匹配模型， 用于基于检索的对话

PDF
TL;DR本研究提出了一种基于预训练语言模型的上下文相应匹配模型，引入了四个自我监督任务，并与 auxiliary tasks 一起多任务训练 PLM-based 响应选择模型，旨在提高多轮响应选择的准确性。实验结果表明，在检索式对话中，引入辅助自我监督任务对多轮响应选择带来了显著的改进，本模型在两个数据集上都达到了最新的最优结果。
发现论文，激发创造
  • 使用辅助任务训练简单有效的多轮对话生成模型

    本研究探讨多轮开放域对话的响应生成，并通过辅助任务实现上下文理解，提高了生成模型的质量，同时具有更快的解码速度。

    Apr, 2020

  • 多任务学习在开放域对话系统中的实证研究

    研究使用辅助任务对自回归模型进行改进，提高其在开放域对话生成中的长期语境处理和一致性维护，结果在小型和中型的 GPT-2 模型上表明引入新的辅助任务虽然有所改进，但仍有发展空间。

    Apr, 2023

  • 以响应选择为辅助任务的高效任务导向型对话系统

    本文提出两种具有辅助任务的模型，用于响应选择，并在 MultiWOZ 2.1 数据集上取得了 107.5 和 108.3 的综合分数，优于具有三倍以上的参数基线模型。

    Aug, 2022

  • 多轮对话中基于两层监督对比学习的响应选择

    该论文研究了在多轮对话中选择最适当的回应是一个检索型对话系统的关键问题，提出了一种基于受监督对比学习的新方法并应用于回应选取中，利用句子标记交换和句子重排序的技术，经过实验验证，该方法明显优于基线和目前各种方法。

    Mar, 2022

  • 面向任务的对话系统中神经响应选择的训练

    通过在大型通用领域对话语料库上预训练反应选择模型，然后利用小型特定领域数据微调预先训练的模型，本论文提出了一种有效的方法来部署任务导向对话中的响应选择，取得了很好的效果。在六个不同的应用领域，从电子商务到银行业，本方法都表现出了良好的效果。

    Jun, 2019

  • 基于 Co-teaching 的多回合响应选择检索对话系统匹配模型学习

    研究使用一个匹配模型来解决对话系统的响应选择问题，并提出一个包含三种特定教学策略的通用共同教学框架，该框架可以从含噪声的训练数据中学习出一个强健的匹配模型，以及通过在独立训练数据中同时学习两个匹配模型，从而达到显着提高匹配模型性能的目的。

    Jun, 2019

  • 上下文提取式自监督学习

    通过引入三种辅助预训练任务，从而以自监督的方式学习捕捉文档级上下文，进一步改善目前的提取式摘要模型，并在广泛使用的 CNN / DM 数据集上进行的实验验证了所提出的辅助任务的有效性。此外，我们显示出，在预训练后，一个由简单构建块组成的干净模型可以胜过之前精心设计的最先进模型。

    Jun, 2019

  • 部署检索为基础的任务导向对话响应模型

    本文提供了一种 3 步程序来开发满足业务要求的对话模型，包括从历史对话中创建模板、使用神经网络建立对话上下文和业务约束，以及通过自我监督和受训者的方法优化模型，并进行实验验证并在人机交互的环境中应用于商业对话。

    Oct, 2022

  • 多轮对话中的对比学习句子重写

    该论文介绍了如何使用对比学习和多任务学习相结合的方法来提高上下文建模中的缺失语句重写系统的目的。实验表明，该方法在几个公共数据集上均达到了最先进的性能。

    Mar, 2022

  • 对话理解的结构预训练

    本文提出了结构化预训练对话阅读器 SPIDER，通过两个训练目标相结合以捕获对话独有的特征，即复原语音顺序和句子骨干规则化，实现了从对话文本中有效地捕获任务相关知识，并在广泛使用的对话基准测试中取得了显著的实验结果。

    May, 2021