Apr, 2020

TOD-BERT: 面向任务导向对话的预训练自然语言理解

HTML
PDF
TL;DR本文通过整合多个人机对话数据集，结合用户和系统记号改良预训练模型，提出了对话任务BERT（TOD-BERT）模型，并通过四个对话应用领域的实验验证，表明TOD-BERT在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型BERT，并且具有更强的少量数据学习能力。
发现论文，激发创造
  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • 针对任务导向对话生成的定制化预训练模型

    本文提出一种专门为特定任务对话系统设计的预训练模型PRAL，并设计采用多种技术来提高模型性能及引入了对话预训练数据集，实验结果表明PRAL在三种不同任务中表现优异，超越或与最先进的方法持平。

    Apr, 2020

  • DialoGLUE：面向任务导向对话的自然语言理解基准

    本文介绍了 DialoGLUE，一种公共基准，旨在鼓励对话研究的表示转移，领域自适应和样本有效任务学习。通过 DialoGLUE 基准，基线方法和评估脚本，我们希望促进发展更为通用的任务导向型对话模型。

    Sep, 2020

  • 自训练提高了面向任务的对话系统中Few-shot学习的预训练

    研究通过自我训练的方法，利用大量未标记的对话数据进一步改进预先训练的模型，以应对高昂的对话系统不同模块的标注成本问题，并证明该方法在少量标记数据可利用时可以一致提高现有预先训练模型的性能。

    Aug, 2021

  • DialogueBERT：基于自监督学习的对话预训练编码器

    本文介绍了一种基于BERT的上下文对话编码器DialogueBERT，通过五个自超监督学习预训练任务学习对话表述的特殊性，并整合了四个不同的输入嵌入来捕捉话语之间的关系，该模型在意图识别、情感识别和命名实体识别等三个下游对话理解任务中表现出优异性能。

    Sep, 2021

  • 插拔式任务导向对话系统的多任务预训练

    该研究提出了通过PPTOD模型和新的对话多任务预训练策略来解决任务导向对话系统中存在的级联生成问题，取得了针对几个基准TOD任务的最新成果。

    Sep, 2021

  • 任务导向对话系统语言模型比较研究

    本研究比较了使用最新的预训练模型，如 BART 和 T5 对任务导向对话系统的端到端训练的效果和强度，实验结果表明在语言模型微调后，模型生成的响应更流畅、更准确，BART 和 T5 在 BLEU 和 F1 分数方面胜过 GPT-based models，达到了任务导向对话系统的最先进水平。

    Jan, 2022

  • 对话响应选择任务自适应预训练

    本研究旨在验证先前论文中提出的关于初始化选择的假设和理解DRS改进的来源，研究表明使用RoBERTa初始化的性能与BERT类似，而MLM+NSP可以优于先前提出的所有TAP任务，并且NSP任务对于DRS非常重要，与常见的NLU任务不同，通过TAP步骤是DRS改进的主要来源。

    Oct, 2022

  • 面向任务导向对话系统的半监督知识驱动预训练

    本文介绍了我们的Track 2模型，利用大规模真实世界的MobileCS中国TOD数据集，使用半监督学习和强化学习构建知识引导的对话模型，实现了任务导向对话系统的高效预测和人机交互。我们的系统在自动评估和人工交互中表现都极佳，尤其是 BLEU (+7.64) 和 Success (+13.6%) 方面比第二名更优秀。

    Oct, 2022

  • 使用大型语言模型进行任务导向对话评估的用户模拟

    为了推动自动化任务导向对话系统的评估，本研究提出了一种基于预训练语言模型的新型用户模拟器，并通过上下文学习来生成具有鲁棒性和语言多样性的输出，以模拟人类对话行为。通过与现有对话系统交互，并收集人机交互数据集，验证了该用户模拟器在单一意图对话目标方面的表现与人类相似。

    Sep, 2023