本文探讨了循环神经网络(RNN)的组合泛化能力,并在查找表合成域中测试了标准RNN的组合行为,发现少量RNN仍能达到部分组合解决方案。研究表明,通过梯度下降和直接支持更多组成方法的进化策略的结合,可能足以引导标准RNN向组合解决方案发展。
Feb, 2018
介绍了一种广泛适用的形式主义,即组合问题图,以解决机器学习中不利于推广的问题,提出了组合泛化问题并引入组合递归学习器,该框架适用于学习算法过程以组合表示转换,从而产生能够进行推理的学习器。
Jul, 2018
该研究介绍了一个名为ConceptWorld的环境,用于生成通过逻辑领域特定语言定义的构成和关系概念的图像。研究测试了标准神经网络和关系网络的泛化能力,并提出了一个潜在的基准模型,以鼓励在构成和关系领域有效泛化的模型的发展。
Jun, 2020
通过基于神经网络和具有符号功能的可变插槽进行变通泛化的记忆增强神经模型,该模型由两个协同神经模块组成,一个是Composer,另一个是Solver,通过分层强化学习算法进行端到端训练,实现变通组合能力,其在 well-known benchmark SCAN 上的实验表明,我们的模型具有极强的组合泛化能力,以100%精度解决了之前工作中面临的所有挑战。
本研究基于观察到实现gSCAN任务的关键在于在进行navigate操作之前确认target object和转化成序列的理念,提出了一个基于注意力机制改进的模型和一个辅助损失函数,该方法对两个组合任务具有很好的性能且验证了gSCAN作为评估模型组合能力的基准任务的相关性。
Sep, 2020
本文研究了复合推理在分类任务中的应用,并提出结构提示(如句法树和实体链接)对于解决神经模型复合推理问题具有较好的效果。
Jun, 2021
本文介绍了CoFe测试套件,以研究上下文中符合规范的泛化,研究发现,应该具有与测试案例结构相似,彼此之间不同和个别简单的上下文实例,还应该覆盖必需的语言结构。
May, 2023
本篇论文从识别可表达性学习出发,将组合性视为数据生成过程的属性而非数据本身,并提出了仅取决于训练分布和模型架构的轻微条件,为组合泛化建立了理论框架,并验证了其应用于现实世界场景的结论,从而为组合泛化的原则性理论研究铺平了道路。
Jul, 2023
给定一篇研究论文,通过训练神经符号结构的组合程序生成器(CPG),实现少样本学习和按长度生产序列到序列语言任务的通用性。
Sep, 2023
人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式,展示了复杂的认知行为,为人类认知研究提供了新的视角和可能性。
May, 2024