基本替换的构成性泛化
通过基于神经网络和具有符号功能的可变插槽进行变通泛化的记忆增强神经模型,该模型由两个协同神经模块组成,一个是 Composer,另一个是 Solver,通过分层强化学习算法进行端到端训练,实现变通组合能力,其在 well-known benchmark SCAN 上的实验表明,我们的模型具有极强的组合泛化能力,以 100%精度解决了之前工作中面临的所有挑战。
Jun, 2020
提出通过遵循组成性原则来训练神经网络解决语言理解的挑战,并通用地应用于多种领域,进而提高机器人的安全性和公平性,所提出的网络能够显着提高自然语言理解能力,且在实现先前工作所不能实现的泛化能力的同时还提供了可解释性的层面。
Aug, 2020
本文针对基础的 seq-to-seq 模型缺乏组合概括能力的问题,重点讨论了使用一次性原语概括来增强这种能力的方法,发现通过修改训练数据的方式,能够使标准的 seq-to-seq 模型实现接近完美的概括能力表现,并且对该现象进行了详细的实证分析,指出了模型的概括性能对于训练数据的特征非常敏感,因而应该在设计这样的基准测试时仔细考虑训练数据的选择。
Mar, 2022
本篇论文从识别可表达性学习出发,将组合性视为数据生成过程的属性而非数据本身,并提出了仅取决于训练分布和模型架构的轻微条件,为组合泛化建立了理论框架,并验证了其应用于现实世界场景的结论,从而为组合泛化的原则性理论研究铺平了道路。
Jul, 2023
本文提出一种基于神经机器翻译的新模型 Syntactic Attention,采用分离语法与语义学习的方式训练,拥有捕捉人类语言组成性结构的能力,相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。
Apr, 2019
该研究介绍了一个名为 ConceptWorld 的环境,用于生成通过逻辑领域特定语言定义的构成和关系概念的图像。研究测试了标准神经网络和关系网络的泛化能力,并提出了一个潜在的基准模型,以鼓励在构成和关系领域有效泛化的模型的发展。
Jun, 2020
本文介绍了一种测量神经程序合成方法能否组合泛化的方法,引入了基于两个流行数据集的任务基准套件,以评估合成器在组合泛化方面的能力,最后通过新的注意机制来改进变压器模型的组合泛化能力
Apr, 2022
该研究回顾了当前深度学习语言处理网络的主要创新,讨论了一系列研究表明深度网络能够进行微妙的语法依赖性泛化,但也不依赖于系统化的组合规则,这一现象应该引起语言学家和认知科学家的兴趣。
Mar, 2019