Jun, 2016

面向口语理解的顺序卷积神经网络进行槽位填充

PDF
TL;DR本研究探讨了卷积神经网络 (CNNs) 在口语理解的时隙填充任务中的应用，提出了一种新颖的 CNN 体系结构，用于序列标注，该体系结构考虑了先前的上下文词的顺序信息和对当前单词及其周围上下文的特殊关注，并结合了来自过去和未来词的信息进行分类，本文所提出的 CNN 架构优于之前最好的集成循环神经网络模型，无需使用任何附加的语言知识和资源，在 ATIS 基准数据集上实现了 F1 得分 95.61％的最佳结果。
发现论文，激发创造
  • 比较卷积神经网络和传统模型在槽填充方面的表现

    本文使用卷积神经网络以及结合多种方法，对于关系分类和插槽填充任务应用于输入句子，研究其表现和影响，提出了有关关系分类在插槽填充背景下的解决方案，并证明了组合方法胜过个别方法。

    Mar, 2016

  • 基于胶囊神经网络的联合槽位填充与意图识别

    本研究提出了基于 capsule 的神经网络模型，通过动态路由协议实现槽填充和意图检测，从而有效地利用了语义层次结构。实验表明，与其他模型结构以及现有自然语言理解服务相比，我们的模型具有更好的性能。

    Dec, 2018

  • 基于语言丰富和上下文感知的零样本槽位填充

    提出了一种新的零射击槽填充神经模型 LEONA，通过利用语言特征、命名实体识别提示、预训练语言模型的上下文嵌入，从而获得领域无关的上下文感知表示，通过三步骤 fine-tunes 产生独立于槽的标签，并使用可推广的上下文感知语句 - 槽相似特征将其上下文化以产生每个单词的针对特定槽的预测，总体而言，在 SNIPS、ATIS、MultiWOZ 和 SGD 数据集上，从未见过的领域平均表现优于 SOTA 模型 17.52％、22.15％、17.42％ 和 17.95％

    Jan, 2021

  • 卷积序列到序列学习

    利用卷积神经网络架构完全替代了循环神经网络的流行序列到序列学习方法，运用门控线性单元简化了梯度传播，为每个解码器层装备了单独的注意力模块，在 GPU 和 CPU 上取得了比 Wu 等人（2016）更高的准确性和十倍以上的速度。

    May, 2017

  • 任务导向对话系统中基于神经网络的槽位填充和意图分类新方法综述

    本文重点考察了基于神经网络的研究，围绕自然语言理解在对话系统中的应用，着重研究了两个核心问题：slot filling 和 intent classification，并介绍了三种神经网络架构：独立模型、联合模型和迁移学习模型。提出了当前研究中面对的挑战。

    Nov, 2020

  • CTRAN：基于 CNN-Transformer 的自然语言理解网络

    本研究提出了基于 CTAN（一种新型 encoder-decoder CNN-Transformer-based 结构）的自然语言理解方法，它在使用 BERT 编码器后、多个卷积层之后使用窗口特征序列重新排列输出，并在窗口特征序列之后使用堆叠的 Transformer 编码器。在意图检测解码器中，使用自我注意力和一个线性层，在填充槽解码器中，引入对齐 Transformer 解码器。结果表明我们的模型在 ATIS 和 SNIPS 中对填充槽任务超过了目前的最优。另外，研究还表明将语言模型作为单词嵌入优于将其作为编码器。

    Mar, 2023

  • SLCNN：用于文本分类的句子级卷积神经网络

    本文研究了使用卷积神经网络的文本分类的新基准模型，在这些模型中，将文档作为三维张量表示进行输入，从而实现了句子级分析，经实验证明该模型在长文档特别表现良好。

    Jan, 2023

  • 利用上下文信息优化槽填充

    本文提出了一种新的方法，即在表示级别和任务特定（即标签）级别上融合上下文信息以区分上下文对单词表示和单词标签的影响，在三个基准数据集上的实验显示，我们的模型比现有模型更加有效，在 Slot Filling 任务中实现了三个基准数据集的新的最优结果。

    Nov, 2019

  • 基于循环和卷积神经网络的连续短文本分类

    本文介绍了一种基于递归神经网络和卷积神经网络的模型，可以在分类下一个短文本时利用前面的短文本，该模型在三个不同的数据集上取得了最先进的对话行为预测结果。

    Mar, 2016

  • 基于深度卷积神经网络的端到端语音识别

    本文提出将 CNN 与 CTC 相结合的端到端语音识别框架，以实现序列标记；在 TIMIT 音素识别任务中评估该方法并表明其在计算效率和性能上优于已有基线系统，并指出 CNN 具有利用适当上下文信息来建模时间相关性的能力。

    Jan, 2017