Mar, 2023

CTRAN：基于 CNN-Transformer 的自然语言理解网络

PDF
TL;DR本研究提出了基于 CTAN（一种新型 encoder-decoder CNN-Transformer-based 结构）的自然语言理解方法，它在使用 BERT 编码器后、多个卷积层之后使用窗口特征序列重新排列输出，并在窗口特征序列之后使用堆叠的 Transformer 编码器。在意图检测解码器中，使用自我注意力和一个线性层，在填充槽解码器中，引入对齐 Transformer 解码器。结果表明我们的模型在 ATIS 和 SNIPS 中对填充槽任务超过了目前的最优。另外，研究还表明将语言模型作为单词嵌入优于将其作为编码器。
natural language understandingctanencoder-decoderintent-detectionslot-filling
发现论文，激发创造
  • 基于注意力机制的循环神经网络模型：联合意图检测与槽位填充

    提出了一种基于注意力机制的神经网络模型，用于同时执行关键步骤（意图检测、填充构構）进行语音理解和对话系统处理。该模型基于编码 - 解码框架，将对齐信息的注意力融合到了模型中，其表现优于传统模型。

    Sep, 2016

  • 在 Transformer 编码器中编码语法知识以进行意图检测和槽填充

    本文提出了一种基于 Transformer 编码器的架构，用于意图检测和槽填充，并将句法知识编码到 Transformer 编码器中，通过多任务学习联合训练来预测每个标记的句法分析祖先和词性标注。实验结果表明，与之前最好的模型相比，我们的模型在两个基准数据集上实现了最先进的结果

    Dec, 2020

  • 用于联合槽填充和意图检测的交互式 Transformer

    本研究将 Co-Interactive Transformer 模型应用于意图检测和填槽的交互学习任务，通过构建双向联接，考虑两个相关任务的交叉影响，并在 SNIPS 和 ATIS 数据集上获得了最先进的性能表现，成功捕获了相互交互的知识。

    Oct, 2020

  • BERT 用于联合意图分类和槽填充

    本文提出了一种基于 BERT 的联合意图分类和槽填充模型，实验证明相对于基于注意力的循环神经网络模型和槽门控模型，在几个公共基准数据集上，我们的模型在意图分类准确性、槽填充 F1 值和句级语义框架精度方面显著提高。

    Feb, 2019

  • 面向口语理解的顺序卷积神经网络进行槽位填充

    本研究探讨了卷积神经网络 (CNNs) 在口语理解的时隙填充任务中的应用，提出了一种新颖的 CNN 体系结构，用于序列标注，该体系结构考虑了先前的上下文词的顺序信息和对当前单词及其周围上下文的特殊关注，并结合了来自过去和未来词的信息进行分类，本文所提出的 CNN 架构优于之前最好的集成循环神经网络模型，无需使用任何附加的语言知识和资源，在 ATIS 基准数据集上实现了 F1 得分 95.61％的最佳结果。

    Jun, 2016

  • 双向联合神经网络用于意图分类和槽填充

    本文提出了一种基于 BERT 的双向联合模型，通过 intent2slot 和 slot2intent 两个机制同时优化意图分类和位置填充，达到了当前公开数据集 ATIS（88.6％）和 SNIPS（92.8％）的最好结果，并显著提高了句子级语义框架的准确性。

    Feb, 2022

  • 基于双模态的 RNN 语义框架解析模型用于意图检测和槽位填充

    通过设计新的双模型基于 RNN 的语义框架解析网络结构，使用两个相关的双向 LSTMs 联合执行意图检测和槽位填充任务，取得了关于意图准确性提高了约 0.5％ 和槽位填充提高了 0.9％ 的最新成果。

    Dec, 2018

  • 基于胶囊神经网络的联合槽位填充与意图识别

    本研究提出了基于 capsule 的神经网络模型，通过动态路由协议实现槽填充和意图检测，从而有效地利用了语义层次结构。实验表明，与其他模型结构以及现有自然语言理解服务相比，我们的模型具有更好的性能。

    Dec, 2018

  • 任务导向对话中的自然语言理解加速

    本研究使用结构化剪枝方法对卷积模型进行压缩，比 BERT 模型的性能差异不大，模型参数少于 100K，适用于移动设备，并在 CPU 上比 DistilBERT 快 63 倍。

    Jun, 2020

  • 零样本跨语言意图预测和槽填充的多语言码交换

    本文提出了一种通过多语言代码切换来增强 Transformer 的语言中立性的新方法，从而解决零样本学习中在未知目标语言下预测用户意图和检测相应选项的问题，并在多个语言上对 MultiATIS ++ 数据集进行实验，相较于现有技术，平均精度提高了 + 4.2％，F1 提高了 + 1.8％。通过收集英语和海地克里奥尔语的新人工标注推文数据集，本文将该方法应用于危机信息学。

    Mar, 2021