利用上下文信息优化槽填充
提出了一种新的零射击槽填充神经模型 LEONA,通过利用语言特征、命名实体识别提示、预训练语言模型的上下文嵌入,从而获得领域无关的上下文感知表示,通过三步骤 fine-tunes 产生独立于槽的标签,并使用可推广的上下文感知语句 - 槽相似特征将其上下文化以产生每个单词的针对特定槽的预测,总体而言,在 SNIPS、ATIS、MultiWOZ 和 SGD 数据集上,从未见过的领域平均表现优于 SOTA 模型 17.52%、22.15%、17.42% 和 17.95%
Jan, 2021
本文提出了一种新的 DNN 体系结构,用于对一定实体的属性值进行插槽填充,该体系结构结合了正则化依赖图、局部注意力和全局注意力等策略,实验结果表明此框架在关系抽取和插槽填充方面均优于现有方法。
Jul, 2017
本文提出了一种新颖的双向互相关联的联合意图检测和槽填充模型,通过引入 SF-ID 网络和全新的迭代机制来增强两个任务之间的双向关联,实验结果表明,在 ATIS 和 Snips 数据集上,与现有最先进的模型相比,本模型在句子级语义框架准确度上相对提高了 3.79% 和 5.42%。
Jun, 2019
本文研究如何将对比学习和无监督数据增强应用于少样本学习,以改进自然语言理解中的意图分类和槽位填充任务。在标准的 IC/SF 基准测试中,我们的半监督方法通过在原有监督元学习技术中引入对比损失和数据增强方法,表现出优异的性能,特别是在少样本 IC 问题上表现更为突出。
Sep, 2021
本文重点考察了基于神经网络的研究,围绕自然语言理解在对话系统中的应用,着重研究了两个核心问题:slot filling 和 intent classification,并介绍了三种神经网络架构:独立模型、联合模型和迁移学习模型。提出了当前研究中面对的挑战。
Nov, 2020
本研究探讨了卷积神经网络 (CNNs) 在口语理解的时隙填充任务中的应用,提出了一种新颖的 CNN 体系结构,用于序列标注,该体系结构考虑了先前的上下文词的顺序信息和对当前单词及其周围上下文的特殊关注,并结合了来自过去和未来词的信息进行分类,本文所提出的 CNN 架构优于之前最好的集成循环神经网络模型,无需使用任何附加的语言知识和资源,在 ATIS 基准数据集上实现了 F1 得分 95.61%的最佳结果。
Jun, 2016
本研究提出一种神经网络架构来解决在多域系统中的上下文理解和词槽填充问题,着重解决如何面对大规模和多样化的问题,模型通过候选集合来决定是否填充词槽,并引入了简单但有效的数据驱动方法用于转换候选词槽。实验表明该方法可以在多个领域中提供最优结果。
Jun, 2018
本文提出了 Parallel Interactive Network (PIN),用于模拟 ID 和 SF 之间的相互指导关系,以及利用双向和明确的信息交换来提高性能,通过两个基准数据集上的实验,证明了该方法的有效性,并利用预先训练的语言模型 BERT 生成的特征嵌入,实现了所有对比方法中的最先进技术。
Sep, 2020
本文述及基于最近三年的神经网络技术,通过直接从语音信号中提取语义,取代传统的分类式自然语言处理方式,以 spoken language understanding 话题研究为主,在利用未标记的数据进行自我监督训练方面取得了新的突破。同时介绍了针对法语 MEDIA 数据集的最新进展,并提出了得到明显改进的成果,概念误差率(CER)从现有最优系统的 13.6% 降至 11.2%。
Jun, 2021
本研究提出了 Prompt-based Spoken Language Understanding(PromptSLU)框架,通过提供通用的预训练 Seq2Seq 模型,将意图检测(ID)和槽位填充(SF)两个子任务统一为同一形式。实验结果表明,该框架在两个公共数据集上表现优于现有的一些最先进模型。
Oct, 2022