比较卷积神经网络和传统模型在槽填充方面的表现
本研究探讨了卷积神经网络 (CNNs) 在口语理解的时隙填充任务中的应用,提出了一种新颖的 CNN 体系结构,用于序列标注,该体系结构考虑了先前的上下文词的顺序信息和对当前单词及其周围上下文的特殊关注,并结合了来自过去和未来词的信息进行分类,本文所提出的 CNN 架构优于之前最好的集成循环神经网络模型,无需使用任何附加的语言知识和资源,在 ATIS 基准数据集上实现了 F1 得分 95.61%的最佳结果。
Jun, 2016
本文重点考察了基于神经网络的研究,围绕自然语言理解在对话系统中的应用,着重研究了两个核心问题:slot filling 和 intent classification,并介绍了三种神经网络架构:独立模型、联合模型和迁移学习模型。提出了当前研究中面对的挑战。
Nov, 2020
本文提出了一种新的 DNN 体系结构,用于对一定实体的属性值进行插槽填充,该体系结构结合了正则化依赖图、局部注意力和全局注意力等策略,实验结果表明此框架在关系抽取和插槽填充方面均优于现有方法。
Jul, 2017
本文综述了自然语言理解中重要的两个任务:目的意图分类和词槽填充。特别是联合模型已经成为达到最佳性能的方法,并揭示了两个任务之间的强关系。文章描述了意图分类和词槽填充在趋势、方法、问题、数据集、评估指标、性能、共享任务等方面的研究,其中包括不同维度的表格总结过去的研究。
Jan, 2021
本文针对 SemEval 2010 关系分类任务,研究了两种不同的神经网络结构:卷积神经网络和循环神经网络。我们分别演示了模型不同结构的效果,并提出了一种针对卷积神经网络的新型上下文表示法和针对连接主义双向循环神经网络的排名损失优化方法。最后,我们展示了使用简单投票方案将卷积神经网络和循环神经网络结合起来可以提高结果的准确性。我们的神经模型在 SemEval 2010 关系分类任务上获得了最先进的结果。
May, 2016
本文提出了一种基于 BERT 的双向联合模型,通过 intent2slot 和 slot2intent 两个机制同时优化意图分类和位置填充,达到了当前公开数据集 ATIS(88.6%)和 SNIPS(92.8%)的最好结果,并显著提高了句子级语义框架的准确性。
Feb, 2022
本文研究了使用卷积神经网络的文本分类的新基准模型,在这些模型中,将文档作为三维张量表示进行输入,从而实现了句子级分析,经实验证明该模型在长文档特别表现良好。
Jan, 2023
本研究提出了基于 capsule 的神经网络模型,通过动态路由协议实现槽填充和意图检测,从而有效地利用了语义层次结构。实验表明,与其他模型结构以及现有自然语言理解服务相比,我们的模型具有更好的性能。
Dec, 2018
本文提出了一种基于循环神经网络的简单框架,并将其与基于卷积神经网络的模型进行比较。该模型在处理句子关系分类问题时具有学习长距离依赖关系模式的优点,并在使用 MIMLRE 数据集的实验中表现出优异的性能。
Aug, 2015