比较了通用模型和模块化模型在系统化泛化方面的不同,发现模块化模型更具系统性,且高度敏感于模块排列方式,还探究了一些方法,结果表明,除了模块化,语言理解的系统泛化可能需要显式的正则化器或先验。
Nov, 2018
通过对人类意义学习能力的重新审视,本文重新评估语序 - 语序模型在新旧概念之间语义联系的条件下所具有的组合技能,证明了它能够通过语义关联来成功地进行一次性泛化到新概念和组合中,这为更高级的学习方案揭示了现代神经网络在系统概括中的潜力。
Mar, 2020
通过研究可视化问答问题,我们发现培训数据多样性对于实现系统化概括至关重要,而简单任务的多样性在实现系统化概括方面起着关键作用。同时,我们观察到神经模块网络利用了我们评估的所有数据多样性形式,而整体架构需要更多的数据来实现相同的效果。这些发现对于理解数据多样性设计、神经网络架构和系统化概括能力之间的相互作用提供了初步的认识。
Sep, 2023
我们对神经语言模型的句法知识进行了系统评估,发现模型架构的不同对句法泛化性能产生了显著影响,而不同数据集大小的影响相对较低。
May, 2020
通过动态消息传递学习对象的情境嵌入,我们提出了一种新的方法,以输入的自然语言为条件,并通过端到端深度学习模块进行训练,以实现系统化泛化,该模型在 grounded-SCAN 上达到了最优性能。
Sep, 2020
本文提出了一种学习一组神经网络模块并以不同方式组合的策略,并通过重复使用模块来实现组合概括,提高机器人相关问题的性能。
Jun, 2018
本研究系统地总结了机器学习中的系统化推广方法,并从经典派和联结派等不同角度介绍了其相关信息。我们重点讨论了不同类型的联结派及其如何处理推广问题,并探讨了在语言、视觉和 VQA 等领域中的应用。此外,我们还讨论了相关的变量绑定和因果问题,并简要介绍了最新的研究进展,希望能为未来的研究提供一定的背景和参考。
Nov, 2022
通过渐进式的模块化增长,研究表明,模块化网络在记忆任务上具有更好的性能、更强的泛化能力和对某些扰动的鲁棒性,即使只有模块之间的连接被训练,结构拓扑引入的归纳偏置足够强大,使得网络在固定了模块内连接的情况下仍能表现良好,并且逐渐模块化增长的循环神经网络能够在进化时间尺度上学习越来越复杂的任务,并且有助于构建更可扩展且可压缩的人工网络。
Jun, 2024
本文介绍了一种测量神经程序合成方法能否组合泛化的方法,引入了基于两个流行数据集的任务基准套件,以评估合成器在组合泛化方面的能力,最后通过新的注意机制来改进变压器模型的组合泛化能力
Apr, 2022
提出了一种基于 NSR 的神经符号递归机制,通过感知、语法解析和语义推理三个模块的联合学习来实现优越的系统化推广,并通过三个不同领域的基准测试取得了 state-of-the-art 的表现结果。
Oct, 2022