AAAIDec, 2020

在 Transformer 编码器中编码语法知识以进行意图检测和槽填充

PDF
TL;DR本文提出了一种基于 Transformer 编码器的架构，用于意图检测和槽填充，并将句法知识编码到 Transformer 编码器中，通过多任务学习联合训练来预测每个标记的句法分析祖先和词性标注。实验结果表明，与之前最好的模型相比，我们的模型在两个基准数据集上实现了最先进的结果
transformer encodersyntactical knowledgeintent detectionslot fillingmulti-task learning
发现论文，激发创造
  • 用于机器翻译和自然语言理解的语法注入 Transformer 和 BERT 模型

    本论文研究了通过将句法信息与深度学习模型相结合，提高自然语言处理任务的性能表现，对多特征的语法 - Transformer 进行了测试，发现在完整数据集和部分数据集中，BLEU 得分都有明显提升，同时，在 GLUE 基准测试中，语法嵌入的 BERT 微调在几个下游任务中表现优于基线。

    Nov, 2019

  • CTRAN：基于 CNN-Transformer 的自然语言理解网络

    本研究提出了基于 CTAN（一种新型 encoder-decoder CNN-Transformer-based 结构）的自然语言理解方法，它在使用 BERT 编码器后、多个卷积层之后使用窗口特征序列重新排列输出，并在窗口特征序列之后使用堆叠的 Transformer 编码器。在意图检测解码器中，使用自我注意力和一个线性层，在填充槽解码器中，引入对齐 Transformer 解码器。结果表明我们的模型在 ATIS 和 SNIPS 中对填充槽任务超过了目前的最优。另外，研究还表明将语言模型作为单词嵌入优于将其作为编码器。

    Mar, 2023

  • 基于注意力机制的循环神经网络模型：联合意图检测与槽位填充

    提出了一种基于注意力机制的神经网络模型，用于同时执行关键步骤（意图检测、填充构構）进行语音理解和对话系统处理。该模型基于编码 - 解码框架，将对齐信息的注意力融合到了模型中，其表现优于传统模型。

    Sep, 2016

  • 语法增强的预训练模型

    文章提出了一种新的基于 Transformer 模型的句法感知注意力层以及预训练任务，该模型可以从句法结构中获取信息来提高预训练模型在关系分类、实体类型标注和问答等任务中的表现。实验结果表明，该模型取得了当前最好的表现效果。

    Dec, 2020

  • 语法树能帮助预训练 Transformer 提取信息吗？

    本文研究如何将依存树信息合并到预训练的 Transformer 模型中以提高信息提取任务的性能，在语义角色标注和关系抽取任务上，采用两种相似但不同的模型设计策略，通过实证研究发现这些语法增强的 Transformer 模型的性能提高取决于依存关系解析的质量。

    Aug, 2020

  • 任务导向语义解析中的 Transformer 诊断

    本文研究了 BART 和 XLM-R 两种目前最先进的基于 transformers 的任务导向语义解析模型在单语和多语境下的表现，实验证明它们不仅在消歧意图 / 槽方面有困难，而且在生成句法上有效的语义框架方面也遇到了问题，主要原因是在把句子片段抽取到框架中时存在歧义，导致语法无效。不过，该模型同时也为是否正确或不正确的语义框架给出了充足的指标，使得该模型可以轻松部署在生产环境中。

    May, 2021

  • 基于双模态的 RNN 语义框架解析模型用于意图检测和槽位填充

    通过设计新的双模型基于 RNN 的语义框架解析网络结构，使用两个相关的双向 LSTMs 联合执行意图检测和槽位填充任务，取得了关于意图准确性提高了约 0.5％ 和槽位填充提高了 0.9％ 的最新成果。

    Dec, 2018

  • 将语义引入语音编码器

    本文提出了一种无监督的任务无关方法，将大型语言模型中的语义信息融合进入自监督语音编码器，提高了其在意图分类，名称实体识别及槽填充等方面的性能，使其达到了有监督方法同等的效果，为已有的语音编码器的无监督实现提供了可行性证明。

    Nov, 2022

  • 自然语言多任务：分析和提高隐藏表示的句法显著性

    训练多任务自动编码器进行语言任务，分析学习到的句子隐藏表示。加入翻译和词性解码器时，表示将显着改变。使用的解码器越多，模型根据句法相似性对句子进行聚类的效果越好。通过插值句子来探索表示空间的结构，得出很多有可识别句法结构的伪英语句子。最后，我们指出了模型的一个有意思的特性：两个句子之间的差分向量可以添加到第三个具有类似特征的句子中，以有意义的方式改变它。

    Jan, 2018

  • BERT 上语法信息编码的演进

    本文分析了 BERT 在六种不同的任务中精细调整过程中所嵌入的句法树随着调整而演变的情况，结果表明编码的语法信息在不同任务的精细调整过程中被遗忘（词性标注）、强化（依存句法和组成成句）或保留（语义相关任务）。

    Jan, 2021