神经程序合成中的组合泛化和分解
通过将复杂任务分解为更小、更熟悉的子任务,人们在编写程序时能够解决新的复杂任务。本文中,我们表征了程序合成中几种不同形式的组合泛化,构建了一个元基准,用于为两个流行的数据集 RobustFill 和 DeepCoder 创建泛化任务。然后,我们提出了 ExeDec,一种新颖的基于分解的合成策略,它通过预测执行子目标,逐步解决问题并利用每一步的程序执行。与基线相比,ExeDec 具有更好的合成性能和大大改善的组合泛化能力。
Jul, 2023
本研究探索使用双重表示来编码组合性,一种生成注意力图,另一种将输入转化为数字的映射。我们改进了每种表示中的熵来提高泛化能力。在五项自然语言处理任务中,实验结果显示本方法对于传统方法有显著的改进,协助实现人类级别的组合语言学习。
Oct, 2019
本文针对基础的 seq-to-seq 模型缺乏组合概括能力的问题,重点讨论了使用一次性原语概括来增强这种能力的方法,发现通过修改训练数据的方式,能够使标准的 seq-to-seq 模型实现接近完美的概括能力表现,并且对该现象进行了详细的实证分析,指出了模型的概括性能对于训练数据的特征非常敏感,因而应该在设计这样的基准测试时仔细考虑训练数据的选择。
Mar, 2022
本研究基于多种语言和哲学理论对构成性的不同解释,提出了五个理论有据的测试方法,用于评估神经语言模型的构成性能力,结果分析了三种常见神经网络结构在高度构成性数据集上的表现和潜在改进方向。
Aug, 2019
通过基于神经网络和具有符号功能的可变插槽进行变通泛化的记忆增强神经模型,该模型由两个协同神经模块组成,一个是 Composer,另一个是 Solver,通过分层强化学习算法进行端到端训练,实现变通组合能力,其在 well-known benchmark SCAN 上的实验表明,我们的模型具有极强的组合泛化能力,以 100%精度解决了之前工作中面临的所有挑战。
Jun, 2020
使用谷歌的翻译翻译:“该论文介绍了基于变压器的模型如何理解世界,并将语言表达与现实世界联系起来,这对研究者在这一领域的工作非常有帮助。通过在基于网格的导航任务上进行的基准测试,我们发现识别网格世界中的目标位置是模型面临的主要挑战,变压器可以泛化到更深的输入结构,并提供了一种更简单的基于调节的组合任务,以调查变压器的计算行为。
Oct, 2022
介绍了一种广泛适用的形式主义,即组合问题图,以解决机器学习中不利于推广的问题,提出了组合泛化问题并引入组合递归学习器,该框架适用于学习算法过程以组合表示转换,从而产生能够进行推理的学习器。
Jul, 2018
本文提出一种基于神经机器翻译的新模型 Syntactic Attention,采用分离语法与语义学习的方式训练,拥有捕捉人类语言组成性结构的能力,相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。
Apr, 2019