学习代数重组以进行组合推广
通过基于神经网络和具有符号功能的可变插槽进行变通泛化的记忆增强神经模型,该模型由两个协同神经模块组成,一个是 Composer,另一个是 Solver,通过分层强化学习算法进行端到端训练,实现变通组合能力,其在 well-known benchmark SCAN 上的实验表明,我们的模型具有极强的组合泛化能力,以 100%精度解决了之前工作中面临的所有挑战。
Jun, 2020
通过引入一种称为组成结构学习者的生成模型,该研究提出了一种更强大的数据重组方法,用于对先前的黑盒神经模型进行组成数据增强,并使得具有对自然语言变异和新颖元素组合的通用性的复杂语义分析任务的性能达到了新的最优状态。
Dec, 2021
本文提出了 R&R,一种学习数据扩充方案,它通过基于原始训练示例的原型生成模型的重组和生成示例的重新采样来实现大类组合泛化,显著提高了普适性,尤其是在对罕见或看不见的子序列需要组合泛化的环境中,如指令跟踪(SCAN)和形态分析(SIGMORPHON 2018)。
Oct, 2020
该研究系统比较了序列到序列模型和基于组合原则的模型在 COGS 语料库上处理组合泛化能力的能力,在结构泛化任务中,基于序列的模型表现接近零,而组成模型在结构泛化任务中表现接近完美,这表明结构泛化是组成泛化的关键度量,需要能够处理复杂结构的模型。
Feb, 2022
研究表明,在小范围模拟的语言理解任务中,seq2seq 模型具有很强的单词和短语的组合能力,但是当需要推导出新的组合规则时,模型的表现则很糟糕,需要更多的训练。
Jul, 2018
我们提出了一种用于学习算法任务的原创方法,该方法受符号人工智能中的重写系统的启发,该系统由专门的模块组成的神经结构实现,通过系统地应用组合规则来解决超出分布的问题实例。
Feb, 2024
本研究介绍了一种新的数据再组合框架,该框架可以将先前的领域知识注入到神经模型中,以提高模型的准确性。通过从训练数据中引出高精度同步上下文无关文法,并用新颖的基于注意力机制的复制方法,在利用语法生成的样本数据上训练序列到序列的循环神经网络模型(RNN),帮助模型学习感知句法。数据再组合提高了我们的 RNN 模型在三个语义解析数据集上的准确性,在使用类似的监督数据输出下,在标准的 GeoQuery 数据集上比以往模型表现更具优势。
Jun, 2016
该研究介绍了一个名为 ConceptWorld 的环境,用于生成通过逻辑领域特定语言定义的构成和关系概念的图像。研究测试了标准神经网络和关系网络的泛化能力,并提出了一个潜在的基准模型,以鼓励在构成和关系领域有效泛化的模型的发展。
Jun, 2020
本文提出一种基于神经机器翻译的新模型 Syntactic Attention,采用分离语法与语义学习的方式训练,拥有捕捉人类语言组成性结构的能力,相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。
Apr, 2019