- 基于离散字典的结构化表示学习分解层
通过引入离散字典分解层，我们改进了 Tensor Product Representation（TPR）框架，增强了神经网络的分解能力，提高了各种基于 TPR 的模型的系统推广能力。
- ICLR基于注意力的迭代分解方法用于张量乘积表示
通过加强 Tensor Product Representation 编码的结构化表示的分解操作，我们提出了一种基于注意力的迭代分解模块 (AID)，该模块可以应用于任何基于 TPR 的模型，并通过输入特征和结构化表示之间的竞争注意机制提供 - 由 “什么” 和 “在哪里” 基础模型组合预训练的面向目标的机器人表示
通过预训练建立的 POCR 框架在机器人控制中能够提供更好的性能和系统化的泛化能力，而不需要新的训练。
- 槽位抽象器：朝着可扩展的抽象视觉推理
通过结合不同方法的优势，提出了一种可扩展到包含大量对象和多个关系的问题的抽象可视化推理方法，在四个抽象可视化推理任务中展示了最先进的性能。
- COLING基于算法问题的 GPT-4 评测：对提示策略的系统评估
GPT-4 在具有可控问题难度的三个算法任务中通过先进的提示技术展现了优越的准确性，证明了先进的大型语言模型在需要系统化泛化的挑战性任务中具备很强的基准性能。
- 利用超网络生成可解释的网络
通过使用超网络生成未知算法的可解释网络，控制网络复杂性以及对输入维度的系统化泛化进行了研究。
- D3：面向视觉问答中系统化概括的数据多样性设计
通过研究可视化问答问题，我们发现培训数据多样性对于实现系统化概括至关重要，而简单任务的多样性在实现系统化概括方面起着关键作用。同时，我们观察到神经模块网络利用了我们评估的所有数据多样性形式，而整体架构需要更多的数据来实现相同的效果。这些发现 - 物体为中心的关系抽象的系统性视觉推理
该研究描述了 Object-Centric Relational Abstraction（OCRA） 模型，其结合了具有抽象表征能力的目标提取和针对关系的归纳偏差，能够从图像输入中提取显式的对象和抽象关系，实现了关于复杂视觉展示的强系统化概 - HICO-DET-SG 和 V-COCO-SG: 评估人 - 物交互检测中系统性泛化的新数据拆分
在研究中，作者发现现有的人 - 物互动检测模型普遍只考虑了有限的人物组合情形，为此，作者创建了两个数据集 HICO-DET-SG 和 V-COCO-SG，希望通过这些数据集鼓励更多的研究，以实现系统化的普遍化。
- 语言的深度学习易度是由什么决定的？
通过在人工语言学习研究中复制并测试深度神经网络学习新语言的记忆和推广能力，我们在神经网络与人类之间发现了惊人的相似性，并发现结构化语言输入在提高神经网络系统化概括和记忆错误方面的效果与自然语言存在高度相关性。
- EMNLP通过互斥训练和基本增强引导组合性
本文分析了 seq2seq 模型在系统化泛化能力方面的缺失，并提出了两种技术对其进行改进：互斥性训练和数据增强。这些技术的应用在常用的组合数据集（SCAN 和 COGS）中实现了显著的实证改进，并提供了进一步的分析和细节的方法探究。
- 系统性归纳的简要调查
本研究系统地总结了机器学习中的系统化推广方法，并从经典派和联结派等不同角度介绍了其相关信息。我们重点讨论了不同类型的联结派及其如何处理推广问题，并探讨了在语言、视觉和 VQA 等领域中的应用。此外，我们还讨论了相关的变量绑定和因果问题，并简 - 神经符号递归机实现系统化推理
提出了一种基于 NSR 的神经符号递归机制，通过感知、语法解析和语义推理三个模块的联合学习来实现优越的系统化推广，并通过三个不同领域的基准测试取得了 state-of-the-art 的表现结果。
- 深度学习与系统性泛化之间的内在冲突
本研究认为，内部功能共享是弱化深度学习分类任务中系统概括或系统性泛化能力的原因之一。在等效预测下，模型将输入空间划分为由边界分隔的多个部分。功能共享倾向于重复使用边界，导致新输出的部分较少，这与系统性泛化相冲突。我们在标准的深度学习模型中展 - EBMs vs. CL: 探究自监督视觉预训练在视觉问答中的应用
该技术报告评估了通过自监督学习训练大规模视觉和语言模型的有效性，并比较了基于能量和对比学习的表示学习方法对视觉问答任务预训练的影响，发现对比学习目前是相对更可行的选择，能够提高其泛化能力。
- LAGr: 标签对齐图提升语义解析的系统化泛化能力
本文提出 LAGr 模型，通过预测多层输入对齐图的节点和边标签，达到以图形而不是序列的形式直接生成意义表征，从而取得较 seq2seq 模型更好的系统化概括效果。
- ICLRRelViT: 用于视觉关系推理的概念引导视觉 Transformer
本文利用视觉转换器 (ViTs) 作为我们视觉推理的基本模型，通过优化定义为物体实体及其关系概念，推动 ViTs 的推理能力，并介绍了一种新的概念特征字典，以促进全局关系推理和促进语义对象特定一一对应关系学习的局部任务。结果显示，我们的模型 - 通过模块化和增强改进系统化的泛化能力
本研究研究了通过模块化和数据增量方法对神经网络在基于自然语言语境的学习中实现系统化综合的影响，并发现具有认知过程至少两个模块的神经网络比非模块基线更容易通过扩充数据实现系统化综合。
- AAAI可证明高效因果模型强化学习用于系统化泛化
该论文提出了一种基于因果视角的可行的系统性泛化的公式，并基于特定的结构假设提供了一种简单的学习算法，以多项式样本复杂度保证任何所需的规划误差。
- 边缘变压器的系统化概括
提出了一种新型边缘 Transformer 模型，实现了自然语言理解中的系统化概括，并在关系推理、语义解析和依赖解析等几个设置中优于 Relation-aware、Universal 和传统 Transformer 基线模型。