本文针对大型预备语言模型的鲁棒性进行了首个实证研究,结果表明最先进的代码 - 语言模型易受精心制作的对抗性例子攻击,提出了一些不需要大量标注数据或重型计算资源即可提高鲁棒性的方法。
Jan, 2023
本文认为在自然语言处理领域中使用的对抗性鲁棒性概念是有问题的,并提出了更符合语言语义的 “语义鲁棒性” 概念。在使用基于模板的生成测试平台和多种模型进行实验后,发现语义鲁棒性不但可以提高性能,在处理复杂的语言现象时也能取得一定的保证。
Dec, 2021
本文介绍了一种神经语义解析器,可以将自然语言表达式映射到逻辑形式,以在特定任务环境中执行,如知识库或数据库,生成响应。解析器使用基于转换的方法生成具有树形结构的逻辑形式,结合由逻辑语言定义的通用树生成算法和领域一般性操作。解析器的生成过程由结构化循环神经网络建模,提供句子上下文和生成历史的丰富编码,以进行预测。为了解决自然语言和逻辑形式标记之间的不匹配,探讨了各种注意机制。最后,我们考虑了神经语义解析器的不同训练设置,包括全监督训练、弱监督训练和远程监督训练。对各种数据集的实验表明了我们解析器的有效性。
Nov, 2017
本文提出了一种基于领域本体的框架,通过生成人类可理解的自然语言模板,从而将自然语言句子转化为机器可读的含义表示;并解决了语义解析在大规模领域中由训练数据的获取以及模型推广的复杂度所面临的挑战,该框架在六个领域进行数据训练,证明了其能快速且低成本地进行语义解析。
Dec, 2018
本文提出了一种基于神经网络的解析器 - 排序器系统用于弱监督语义解析,通过对表征的推理公式使用线索来生成候选的树结构逻辑形式,并对其进行排序,以此平衡正确执行和掌握语义的两个目标,进一步使用神经编码的词表注入领域知识,并在三个 Freebase 数据集上进行实验,获得了达到最先进水平的效果.
Aug, 2018
本文介绍了语义解析的组成部分和主要挑战,旨在从数据中学习语义解析器并将其应用于问题回答系统和自然语言界面,提供丰富的逻辑与统计学二合一的领域。
Mar, 2016
本文提出了一种基于探测任务的神经网络模型的韧性度量方法,在通过语言模型中提取出的语言结构上评估了四种大型语言模型的一致性和鲁棒性,并发现神经网络的新兴句法表示具有脆弱性。
Oct, 2022
综述了最近几年针对 NLP 中深度神经网络面对对抗干扰的鲁棒性不足和易受攻击的挑战,提出了一种新的分类方法,介绍了不同的对抗防御方法和其在训练中作为正则化机制的应用,并指出了深度神经网络的脆弱性和对其进行防御面临的挑战。
Mar, 2022
本文介绍了一种神经语义解析器,将自然语言对话转换成谓语 - 论元结构的中间表示,并通过标注的逻辑形式或其指示训练端到端的语义解析器。在各种数据集上实验,得到了具有竞争力的结果。作者从诱导的谓词 - 论元结构中发现,它们可以揭示有关语义解析有用表示形式的类型以及这些表示形式与语言学上动机的表示形式之间的差异。
Apr, 2017
本篇论文总结了近年来自然语言处理 (NLP) 的抗干扰性研究,并就技术、度量标准、嵌入、基准等维度深入探讨了该领域中存在的问题和待解决的方向。
Jan, 2022