本研究探索使用双重表示来编码组合性,一种生成注意力图,另一种将输入转化为数字的映射。我们改进了每种表示中的熵来提高泛化能力。在五项自然语言处理任务中,实验结果显示本方法对于传统方法有显著的改进,协助实现人类级别的组合语言学习。
Oct, 2019
本研究提出了 SpanBasedSP,这是一种基于跨度的解析器,用于语义分析,并且能够更好地进行组合概括。SpanBasedSP 在几个数据集上进行测试,表现出与强 seq2seq 基线相当的效果,并且在需要进行组合概括的情况下,与基线相比有显著的性能优势。
Sep, 2020
使用子树替换进行合成数据增强可显著提高模型性能,特别是在 SCAN 和 GeoQuery 上,同时在 GeoQuery 的组成分离上达到了新的 SOTA。
May, 2022
本文介绍了如何通过分句和 SQL 子句的注释构造一个新的数据集 Spider-SS,然后将 sub-sentences 不同组合构成一个新的数据集 Spider-CG,用于测试模型的组成泛化能力。实验表明,现有模型在 Spider-CG 上表现出显著的性能下降,我们改进了一些最先进的模型在 Spider-SS 上进行训练,提高了泛化性能。
通过引入一种称为组成结构学习者的生成模型,该研究提出了一种更强大的数据重组方法,用于对先前的黑盒神经模型进行组成数据增强,并使得具有对自然语言变异和新颖元素组合的通用性的复杂语义分析任务的性能达到了新的最优状态。
Dec, 2021
本文提出一种基于神经机器翻译的新模型 Syntactic Attention,采用分离语法与语义学习的方式训练,拥有捕捉人类语言组成性结构的能力,相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。
Apr, 2019
本文研究了复合推理在分类任务中的应用,并提出结构提示(如句法树和实体链接)对于解决神经模型复合推理问题具有较好的效果。
Jun, 2021
该研究系统比较了序列到序列模型和基于组合原则的模型在 COGS 语料库上处理组合泛化能力的能力,在结构泛化任务中,基于序列的模型表现接近零,而组成模型在结构泛化任务中表现接近完美,这表明结构泛化是组成泛化的关键度量,需要能够处理复杂结构的模型。
Feb, 2022
数据增强方法在预训练 seq2seq 模型中对于复合泛化很有效,但仅在从正确分布中进行采样时。从均匀分布中进行采样的表现几乎与从测试分布中采样相当,并且明显优于从训练分布中采样的先前方法。我们进一步进行实验证明了这种情况发生的原因和这种数据增强方法带来的好处。
Jan, 2024
本文介绍了一种测量神经程序合成方法能否组合泛化的方法,引入了基于两个流行数据集的任务基准套件,以评估合成器在组合泛化方面的能力,最后通过新的注意机制来改进变压器模型的组合泛化能力
Apr, 2022