gSCAN 的语言条件嵌入上的系统泛化
本篇论文通过研究 gSCAN 基准测试来探讨通用 Transformer 模型和跨模式关注方法在多模态研究中的应用,以此揭示语言构造系统化泛化方面的挑战。同时,作者提出了一些新的任务来挑战现有模型,并发现当前模型在指令狭窄范围内数据利用效率较低。
Sep, 2021
本文介绍了一个新的基准测试 gSCAN,用于评估位于语言理解中的组成泛化,在语言描述中使用诸如 “在摩天轮旁边向粉色布朗托蜥蜴问候” 等常见词汇,并将其用于语言理解任务。测试发现,在需要系统的组成规则的情况下,强大的多模态基线模型和最先进的组成方法在大多数情况下都会明显地失败。
Mar, 2020
本研究研究了通过模块化和数据增量方法对神经网络在基于自然语言语境的学习中实现系统化综合的影响,并发现具有认知过程至少两个模块的神经网络比非模块基线更容易通过扩充数据实现系统化综合。
Feb, 2022
比较了通用模型和模块化模型在系统化泛化方面的不同,发现模块化模型更具系统性,且高度敏感于模块排列方式,还探究了一些方法,结果表明,除了模块化,语言理解的系统泛化可能需要显式的正则化器或先验。
Nov, 2018
提出了一种基于 NSR 的神经符号递归机制,通过感知、语法解析和语义推理三个模块的联合学习来实现优越的系统化推广,并通过三个不同领域的基准测试取得了 state-of-the-art 的表现结果。
Oct, 2022
本研究基于观察到实现 gSCAN 任务的关键在于在进行 navigate 操作之前确认 target object 和转化成序列的理念,提出了一个基于注意力机制改进的模型和一个辅助损失函数,该方法对两个组合任务具有很好的性能且验证了 gSCAN 作为评估模型组合能力的基准任务的相关性。
Sep, 2020
通过对人类意义学习能力的重新审视,本文重新评估语序 - 语序模型在新旧概念之间语义联系的条件下所具有的组合技能,证明了它能够通过语义关联来成功地进行一次性泛化到新概念和组合中,这为更高级的学习方案揭示了现代神经网络在系统概括中的潜力。
Mar, 2020
本研究系统地总结了机器学习中的系统化推广方法,并从经典派和联结派等不同角度介绍了其相关信息。我们重点讨论了不同类型的联结派及其如何处理推广问题,并探讨了在语言、视觉和 VQA 等领域中的应用。此外,我们还讨论了相关的变量绑定和因果问题,并简要介绍了最新的研究进展,希望能为未来的研究提供一定的背景和参考。
Nov, 2022
在本文中,我们通过对多种神经网络模型的分析和实验,探讨了神经网络在面对训练数据分布之外的数据时出现的泛化问题。我们使用了 CLUTRR 作为基准工具,实现将小故事图上的训练结果泛化到更大的故事图上,探究了两类神经网络模型,即 “E-GNN” 和 “L-Graph”,并通过实验比较了这两类模型的性能。实验结果表明,改进后的递归神经网络在各种泛化任务中表现良好,优于改进后的图神经网络模型,而后者则更具有鲁棒性。
Mar, 2022
提出通过遵循组成性原则来训练神经网络解决语言理解的挑战,并通用地应用于多种领域,进而提高机器人的安全性和公平性,所提出的网络能够显着提高自然语言理解能力,且在实现先前工作所不能实现的泛化能力的同时还提供了可解释性的层面。
Aug, 2020