基于 Span 的组合推理的语义解析
该研究系统比较了序列到序列模型和基于组合原则的模型在 COGS 语料库上处理组合泛化能力的能力,在结构泛化任务中,基于序列的模型表现接近零,而组成模型在结构泛化任务中表现接近完美,这表明结构泛化是组成泛化的关键度量,需要能够处理复杂结构的模型。
Feb, 2022
本文提出了一种新的基于图的方法来进行语义解析,解决了文献中观察到的两个问题:(1) seq2seq 模型无法完成组合泛化任务;(2) 使用短语结构解析器的先前工作无法涵盖树库中观察到的所有语义解析。我们证明了两个优化算法的正确性,用基于约束平滑和条件渐变的方法近似解决这些推断问题。实验证明,我们的方法在 Geoquery、Scan 和 Clevr 上都具有最先进的效果,包括在测试组合泛化的过程中。
Feb, 2023
探讨如何开发一种语义解析方法,既可应对自然语言变异,又能在组合推理方面具有强大的针对性。我们在非合成数据集上提出了新的训练和测试集分割,证明现有方法在广泛的测试中表现不佳。并提出了 NQG-T5,这是一个混合模型,结合了高精度的基于语法的方法和预先训练的序列到序列模型。它在非合成数据上的多个组合泛化挑战中优于现有方法,在标准评估上也具有竞争力。
Oct, 2020
提出新的跨度替换策略(SpanSub)和基于嵌入式的学习框架(L2S2),分别解决了神经序列模型中的组合泛化问题和不均等难度分布下的挑战性组合问题,成功提高复杂数据集上的性能。
Jun, 2023
我们利用新的参数化和置换预测方法,提出了一种将语义解析理解为两步处理,并通过规则化线性规划求解器来预测排列,进而取得了比预训练 seq2seq 模型和之前的工作更好的性能,实现了在深度递归上的高准确度的泛化。
May, 2023
本文介绍了一种基于 label 和 span 独立评分的最小神经模型,并证明了该模型不仅与经典的动态规划技术兼容,而且还支持一种基于递归分割的新颖贪心自顶向下推理算法。经实验证明,两种预测方案竞争力强,并且与得分模型的基本扩展相结合,能够实现 Penn Treebank 的单模型最优性能(91.79 F1),并在法语 Treebank 上获得强大的性能(82.23 F1)。
May, 2017
本研究提出基于 span pointer networks 的非自回归任务导向的语义解析器,通过将推断任务从文本生成转移到区间预测,从而改善了长度预测和提高了模型的泛化能力。
Apr, 2021
本篇文章提出了一种基于 Wikidata 的多语言、平行的问句对数据集,即 Multilingual Compositional Wikidata Questions(MCWQ),用于分析语义解析器在英语、希伯来语、卡纳达语和汉语中的组合泛化能力。结果表明,即使使用最先进的预训练多语言编码器,跨语言组合泛化能力也无法实现,文章的方法、数据集和结果将有助于未来关于具有更现实和多样化背景下语义解析的研究。
Aug, 2021
通过实验证明,Seq2Seq 模型在英语句法分析、语义分析和文本之间的转换任务中,普遍存在推广的普适性较低的问题,但是在建立了语言知识的神经符号模型中,这些限制往往可以克服。
Oct, 2022