通过分解结构化系统，以及模型设计和计算单元级潜在结果以及整合成单位级潜在结果，实现了对因果效应的估计，并在因果推断中发现了分解方法的新优势：对未知组件组合的反事实结果进行系统泛化，以及与传统方法相比，在治疗和对照组之间提供了更好的重叠保证。
Jun, 2024
本文旨在理解语言中组成性结构在模型失败中的作用以及与其表达能力和样本复杂度的关系，并提出了一种神经符号化的组成性函数及其复杂性的定义，并分析了各种现有的通用和特殊目的序列处理模型在该定义下的组成性复杂性，最后基于提出的定义给出了显式地依赖于它的组成性模型的表达能力和系统化泛化的理论保证，并突出了影响实验性能的因素。
May, 2024
通过模块性和超网络的研究，我们证明了从有限数据中的元学习可以发现能够组合性地概括的模块化解决方案。
Dec, 2023
介绍了 Attentive Guidance，这是一种机制，可以指导序列到序列模型配备关注机制，以找到更多的组合解决方案。通过测试，证明序列到序列模型具备在不需要额外组件的情况下找到组成性解决方案的能力。
May, 2018
本文利用分类学的方法，构建了一个强化学习的可组合性框架，研究了分解问题为子任务并在这些任务上运用学习策略的方法。文章针对贝尔曼最优方程而研究在组合模型下的可行性，探讨使用一些纤维积和推出操作使得组合现象更明显，并且通过引入的 zig-zag 连线模拟了 MDP 中的连续式任务完成方式。
Aug, 2022
本文详细比较了两种序列模型在试图解决合成任务时的差别，通过更多的监督信号，辅助注意机制，参数空间和隐藏层激活机制的不同，发现具有引导性的网络在识别更组合解决方案方面具有更高的效率，并且展现出更加模块化的神经元特点。
Jun, 2019
通过从连续数据中提取统计一致的成分进行训练的多尺度变化空间上的无监督分段方法，用于时序数据分类的符合组合表示学习的序列编码模型的效果得到广泛实验验证。
对深度预训练模型进行微调最近揭示了其具有组合特性能力，从而使得多个专门模块能任意组合成一个多任务模型。本文通过对损失函数的二阶泰勒近似方法进行理论研究，试图揭示标准非线性网络中组合特性的奥秘，强调了处于预训练盆地内对于实现可组合模块的重要性，并提出了两种双增量训练算法：一种从多个独立模型进行训练的角度，另一种旨在优化整个组合模型。我们测试它们在增量分类任务中的应用，并突出了一些可贵的技能。实际上，增量学习的模块池不仅支持创建有效的多任务模型，还能够进行遗忘和特定任务的专门化。
该论文提出了两种辅助序列预测任务来帮助解决神经模型在学习符号结构时的不足，并通过在 SCAN 数据集上的实验证明了所提出的方法可以提高 Transformer 模型理解命令的组合结构的能力。
Sep, 2021
利用模型修剪技术，在视觉和语言领域的各种架构、任务和预训练方案中，研究神经网络是否通过模块化子网络实现子程序的解决方案，结果表明神经网络通常可以展示组合性，避免了专门的符号机制。
Jan, 2023