本研究提出一种新颖的神经模块化方法来实现基于组合推理的问题回答，该方法不需要强监督，能自动诱导期望的子任务分解并通过共享模块链接不同的推理任务，实验表明该模型比当前先进模型更易于人类评估者解释以及预测其中间结果的成功或失败。
Jul, 2018
ReasonFormer 是一个统一的推理框架，受认知科学中的双过程理论的启发，它可以模拟人类在复杂决策制定中的模块化和组合推理过程。它由表示模块和推理模块组成，可以捕捉不同层次的认知过程，并模拟组合推理过程来控制推理技能的激活以及推理深度。ReasonFormer 通过单一模型解决多个任务，并在端到端的方式下进行训练和推断。在 11 个需要不同推理技能和复杂度的数据集上进行评估，ReasonFormer 展示了显著的性能提升，揭示了组合推理的能力。而且它在少样本的实验中表现出更好的泛化能力，并解耦表示模块和推理模块。最后通过进一步的分析也揭示了推理模块的模块化特性。
Oct, 2022
本文介绍了一种类似神经模块网络的组合模型，旨在对文本进行复杂的逻辑推理，通过寻找文章中相关的句子，并使用神经模块将它们链接起来，模型在 ROPES 上取得了显著的性能改进。
Apr, 2020
通过使用大型语言模型 (Large Language Models)，我们提出了一种生成性神经符号化视觉推理方法，在模块初始化和执行的阶段，通过生成和复用模块来处理视觉 - 语言任务。该方法表现出优越的性能，能够在标准任务中进行竞争，并能够无缝地将学习到的模块转移到新任务中。
Nov, 2023
本研究使用多层算术符号推理的受控数据集，系统地检查了最近发布的预训练 seq2seq 模型，旨在探讨最新的神经模型如何捕捉符号推理的组合性。我们引入了一个 “组合性技能树”，定义了组合复杂性的层级水平以及系统性，生产力和可替代性等组合性维度。实验表明，模型最难以处理系统性，甚至在相对简单的组合中也表现不佳。即使通过训练模型的中间推理步骤，也无法缓解这种困难。
Feb, 2023
本研究提出了一个综合性基准来研究模型在复杂的现实场景中的逻辑推理能力。我们设计了细粒度的逻辑推理解释形式，并在实验中评估了当前最佳模型在这种新的解释形式上的表现，结果表明即使在巨型模型的帮助下，生成推理图仍然是一个具有挑战性的任务。
通过模块性和超网络的研究，我们证明了从有限数据中的元学习可以发现能够组合性地概括的模块化解决方案。
Dec, 2023
本研究提出采用辅助监督和特定的模块结构开发神经模块网络，解决了在 NLVR2 和 DROP 数据集上多次组合推理步骤问题导致的预期输出和实际中间输出不匹配的问题，并且不会对准确性产生太大的影响。
May, 2020
我们的研究揭示了 LLMs 在复合推理任务中的失败根源，即大多数失败源于生成或利用不当的隐性推理结果。深入研究发现隐性推理结果确实存在于中间层，并在塑造最终明确推理结果中发挥因果作用，我们还发现多头自注意力模块是生成和利用隐性推理结果的关键。基于以上发现，我们开发了 CREME，一种轻量级方法，通过编辑定位的多头自注意力模块来修复复合推理中的错误。我们的实证证据证明了 CREME 的有效性，为自主持续提升语言模型中的复合推理能力铺平了道路。
Feb, 2024
通过提出 Meta Module Network，该论文致力于解决 Neural Module Network 包括扩展性和泛化性等局限性，并在 GQA 和 CLEVR 数据集上进行实验证明了该模型的优越性。
Oct, 2019