- ECCV学习代数表征以在抽象推理中进行系统化推广
本文探讨了连接主义和经典派对智能的实现方法,提出了一种混合方法来改进推理中的系统化泛化,通过代数表示来提高思维抽象能力,在 Raven's Progressive Matrices 任务中表现出比纯连接主义模型更好的推理性能,并且学到的代数 - ICML区分基于规则和范例的一般化学习系统
本研究基于实验方法,探讨了分类学习系统的归纳偏差对样本和规则泛化之间的权衡,并发现标准神经网络模型存在特征偏见和样本驱动等问题,对机器学习研究的系统泛化、公平性和数据增广等产生了影响。
- EMNLPgSCAN 上的系统性概括:几乎解决了什么问题,下一步又是什么?
本篇论文通过研究 gSCAN 基准测试来探讨通用 Transformer 模型和跨模式关注方法在多模态研究中的应用,以此揭示语言构造系统化泛化方面的挑战。同时,作者提出了一些新的任务来挑战现有模型,并发现当前模型在指令狭窄范围内数据利用效率 - EMNLP细节见魔鬼:简单技巧提高 Transformer 系统化泛化能力
通过重新设计模型配置,如 embedding、early stopping、相对位置嵌入和 Universal Transformer 变体等基本元素,我们可以显著提高 Transformers 在系统泛化方面的性能,同时在 PLE、COG - ACL少样本神经序列建模的词汇学习
通过引入词汇翻译机制并使用多种词典学习算法来初始化这种机制,可以提高序列建模任务的系统化泛化能力。
- 基于结构重排序的序列转导中的潜在对齐建模
该研究通过在神经 seq2seq 模型中建模 segment-to-segment 对齐,提高了模型的系统化泛化能力,并在语义解析和机器翻译等任务上得到了较好的表现。
- ACLSyGNS: 基于自然语言语义的系统化泛化测试平台
通过建立基于自然语义的系统化推导测试平台,本文发现:Transformer 和 GRU 模型能够解析包含量词和否定等逻辑表达的句子,且对形式相似但复杂程度不同的句子表现良好,这表明深度神经网络模型能够捕捉组合意义。
- ICLR迭代学习用于 VQA 中的新兴系统性
通过使用迭代学习方法,作者提出了一种新的正则化技术来促进神经模块网络结构语言化的形成,从而使其支持系统化推理和解决复杂视觉问答任务。实验结果表明,在形成结构化语言方面,这种方法比基准方法更出色,并且对于 SHAPES-SyGeT 和 CLE - EMNLP学习任务描述
本文介绍了一种针对自然语言处理系统的新框架和英语语言数据集 ZEST,用于评估系统的任务解决能力和系统化泛化类型的测试。最新的 T5 模型在 ZEST 数据集上达到 12%的得分,为 NLP 研究者留下了一个巨大的挑战。
- 使用指针注意图神经网络学习执行程序
本文介绍了一种新颖的 GNN 架构 ——IPAGNN,可以更好地学习使用控制流程图执行程序的任务,通过测试结果表明,其在系统性总结和部分程序执行的任务上比多种 RNN 和 GNN 基线模型表现更好。
- 神经网络是否具有模块化特性?通过可微分的权重掩码检查功能模块化
本文提出了一种基于学习二进制权重掩码的方法来识别神经网络中负责特定功能的权重和子网,探讨了神经网络中模块化的新趋势以及相关问题如系统化语言任务的普遍性不足。
- ACLgSCAN 的语言条件嵌入上的系统泛化
通过动态消息传递学习对象的情境嵌入,我们提出了一种新的方法,以输入的自然语言为条件,并通过端到端深度学习模块进行训练,以实现系统化泛化,该模型在 grounded-SCAN 上达到了最优性能。
- ACL潜在组合表示提高基于场景的问答系统的系统化通用性
该研究提出了一种使用 CKY 式分析器以底向上的组合方式计算问题文本的表示和标记,以在多步推理时达到系统化推广的模型,将模型调整为以树结构的归纳偏置,因而在算术表达式基准测试以及闭合测试中达到了 96.1% 的准确率。
- EMNLP通过有意义的学习重新审视系统化泛化
通过对人类意义学习能力的重新审视,本文重新评估语序 - 语序模型在新旧概念之间语义联系的条件下所具有的组合技能,证明了它能够通过语义关联来成功地进行一次性泛化到新概念和组合中,这为更高级的学习方案揭示了现代神经网络在系统概括中的潜力。
- CLOSURE: 评估 CLEVR 模型的系统泛化能力
本文研究了当前用于处理 CLEVR 数据集的一些模型的泛化,提出了一种基于闭包基准测试的方法,结果显示,当前流行的模型在处理普遍化方面往往表现不佳;作者提出了一种新的向量模块神经网络体系结构,能够增强 NMN 模型的系统性泛化能力,并且研究 - ICLR系统性概括:所需和可学习性?
比较了通用模型和模块化模型在系统化泛化方面的不同,发现模块化模型更具系统性,且高度敏感于模块排列方式,还探究了一些方法,结果表明,除了模块化,语言理解的系统泛化可能需要显式的正则化器或先验。