本文介绍了一种测量神经程序合成方法能否组合泛化的方法,引入了基于两个流行数据集的任务基准套件,以评估合成器在组合泛化方面的能力,最后通过新的注意机制来改进变压器模型的组合泛化能力
Apr, 2022
本研究从无任务偏见的视角探索了合成泛化问题,通过理论发现:1)在合成泛化中没有通用解决方案;2)提出了适用于任何合成泛化问题的新型泛化界限,指定了有效合成泛化解决方案的条件;和 3)引入生成效应以增强对合成泛化问题及其解决方案的理解,为合成泛化问题提供了一个普适理论,可以与特定任务场景下的先前定理相结合以全面理解合成泛化。
May, 2024
该研究系统比较了序列到序列模型和基于组合原则的模型在 COGS 语料库上处理组合泛化能力的能力,在结构泛化任务中,基于序列的模型表现接近零,而组成模型在结构泛化任务中表现接近完美,这表明结构泛化是组成泛化的关键度量,需要能够处理复杂结构的模型。
Feb, 2022
本研究探索使用双重表示来编码组合性,一种生成注意力图,另一种将输入转化为数字的映射。我们改进了每种表示中的熵来提高泛化能力。在五项自然语言处理任务中,实验结果显示本方法对于传统方法有显著的改进,协助实现人类级别的组合语言学习。
Oct, 2019
本文对最近在分析、方法和评估方案上的进展进行了综述,为从业者和研究人员在这一领域提供了一个起点。
Apr, 2024
通过基于神经网络和具有符号功能的可变插槽进行变通泛化的记忆增强神经模型,该模型由两个协同神经模块组成,一个是 Composer,另一个是 Solver,通过分层强化学习算法进行端到端训练,实现变通组合能力,其在 well-known benchmark SCAN 上的实验表明,我们的模型具有极强的组合泛化能力,以 100%精度解决了之前工作中面临的所有挑战。
Jun, 2020
介绍了一种广泛适用的形式主义,即组合问题图,以解决机器学习中不利于推广的问题,提出了组合泛化问题并引入组合递归学习器,该框架适用于学习算法过程以组合表示转换,从而产生能够进行推理的学习器。
Jul, 2018
本篇论文从识别可表达性学习出发,将组合性视为数据生成过程的属性而非数据本身,并提出了仅取决于训练分布和模型架构的轻微条件,为组合泛化建立了理论框架,并验证了其应用于现实世界场景的结论,从而为组合泛化的原则性理论研究铺平了道路。
Jul, 2023
提出通过遵循组成性原则来训练神经网络解决语言理解的挑战,并通用地应用于多种领域,进而提高机器人的安全性和公平性,所提出的网络能够显着提高自然语言理解能力,且在实现先前工作所不能实现的泛化能力的同时还提供了可解释性的层面。
Aug, 2020
本文针对基础的 seq-to-seq 模型缺乏组合概括能力的问题,重点讨论了使用一次性原语概括来增强这种能力的方法,发现通过修改训练数据的方式,能够使标准的 seq-to-seq 模型实现接近完美的概括能力表现,并且对该现象进行了详细的实证分析,指出了模型的概括性能对于训练数据的特征非常敏感,因而应该在设计这样的基准测试时仔细考虑训练数据的选择。
Mar, 2022