DIET: 对话系统的轻量级语言理解

Apr, 2020

DIET: Lightweight Language Understanding for Dialogue Systems

Tanja Bunk, Daksh Varshneya, Vladimir Vlasov, Alan Nichol

TL;DRDIET 架构研究了不同预训练表示对意向和实体预测的有效性，并在多领域 NLU 数据集上取得了最新的技术水平，没有明显的使用大规模预训练模型的好处，实际上 DIET 即使在没有预先训练嵌入的情况下，也改进了现有技术水平，效果最佳的模型优于 Fine-tuning BERT 并且训练速度快六倍。

Abstract

Large-scale pre-trained language models have shown impressive results on language understanding benchmarks like GLUE and SuperGLUE, improving considerably over other pre-training methods like distributed representations (GloVe) and purely supervised approaches. We introduce the Dual In

pre-trained language models dual intent and entity transformer (diet) architecture intent and entity prediction multi-domain nlu dataset supervised setup

发现论文，激发创造

实境游戏学习的自然语言理解：初步评估

研究了一个新的多任务 NLU 结构在小型领域游戏数据集上进行意图识别的表现，发现相比基线方法，Dual Intent and Entity Transformer (DIET) 架构在野外数据上具有较强的鲁棒性。

May, 2022

DialogueBERT：基于自监督学习的对话预训练编码器

本文介绍了一种基于 BERT 的上下文对话编码器 DialogueBERT，通过五个自超监督学习预训练任务学习对话表述的特殊性，并整合了四个不同的输入嵌入来捕捉话语之间的关系，该模型在意图识别、情感识别和命名实体识别等三个下游对话理解任务中表现出优异性能。

Sep, 2021

BERT: 深度双向变换器的预训练用于语言理解

介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

Oct, 2018

对话理解的结构预训练

本文提出了结构化预训练对话阅读器 SPIDER，通过两个训练目标相结合以捕获对话独有的特征，即复原语音顺序和句子骨干规则化，实现了从对话文本中有效地捕获任务相关知识，并在广泛使用的对话基准测试中取得了显著的实验结果。

May, 2021

基于预训练 Transformer 自然语言模型的开放领域对话生成的实证研究

本研究使用预训练模式和微调模式对基于 Transformer 的语言模型进行实证研究，探讨其在开放域对话生成任务中的性能表现和多样性，发现各种变形策略对生成结果都有不同程度的影响。

Mar, 2020

DialoGLUE：面向任务导向对话的自然语言理解基准

本文介绍了 DialoGLUE，一种公共基准，旨在鼓励对话研究的表示转移，领域自适应和样本有效任务学习。通过 DialoGLUE 基准，基线方法和评估脚本，我们希望促进发展更为通用的任务导向型对话模型。

Sep, 2020

有阅读素养的学生学习更好：关于预训练紧凑模型的重要性

本文研究自然语言表示、模型压缩技术、预训练、微调和知识蒸馏等方面的互动关系，提出了一种简单而有效的预训练蒸馏算法，分析了模型大小和无标记任务数据属性对其的影响。

Aug, 2019

具有句法信息的异构图变换器问答

本研究探讨了如何在不需要从头开始的情况下，在预训练的神经语言模型中添加显式的语言学信息，以提高其性能，并提出了一种基于转换器的神经语言模型，通过异构图转换器对模型进行扩展和微调，这可以通过添加句法信息来实现，而基于斯坦福问答数据集的实证性能评估表明了该方法的竞争性。此方法包括语义和语用方面的信息，具有可扩展性。

Apr, 2022

UL2: 统一语言学习范式

提出一个统一框架的预训练模型，通过 Mixture-of-Denoisers 目标函数实现不同预训练目标的整合，将不同的预训练范例结合在一起，对于多个不同领域的数据集都具有普适性，并在规模为 20B 参数下的 50 个 NLP 任务上取得了最先进的表现。

May, 2022

DLGNet：基于 Transformer 的对话回复生成模型

本文介绍基于 transformer 模型的 DLGNet，用于多轮对话生成，实验结果显示 DLGNet 显著优于现有模型且在评估指标方面表现最佳，主要因为长程 transformer 模型的结构和注入随机信息填充的组合。

Jul, 2019