将知识分解成可交替使用的部分可在分布变化时带来泛化优势，而采用特定的模块化学习方法和自适应机制以及元学习可以实现更快的适应。

May, 2021

通过训练循环神经网络掌握算法构建，我们提出了基于学习的循环推理机（RIM）框架以实现超越领域特定知识的抽象，并在多个图像修复实验中取得了最先进的性能，包括图像去噪和超分辨率任务，并具有优良的跨任务泛化性能。

Jun, 2017

该论文介绍了一种递归插值方法（RIM），该方法可用于增强时间序列数据，以提高在回归、分类和强化学习任务中的性能，并通过理论分析保证了其测试性能。

Jul, 2022

本文提出一种基于独立因果机制（ICM）原理的新梯度学习框架，理论和实验结果表明，这种学习方法可以在训练时利用不同环境之间的分布偏移，使神经网络更加鲁棒，并成功地找到与环境无关的关系，达到了对不稳定环境的泛化能力。

Oct, 2020

本文提出了一种称为乘积积分（MI）的结构设计来改进递归神经网络（RNN），并在几个任务中对不同 RNN 模型的学习行为进行了实验评估。实验结果表明，MI 可以显著提高现有的许多 RNN 模型的性能。

Jun, 2016

通过利用 Grid LSTM 的模块化结构，在实际中的顺序过程中，仅激活一部分细胞并选择相关输入进行通信后，通过考虑输入、上一时刻和当前时刻的隐藏状态之间的关联性来更新隐藏状态，从而实现对测试环境变化的优越泛化能力。

Nov, 2023

通过渐进式的模块化增长，研究表明，模块化网络在记忆任务上具有更好的性能、更强的泛化能力和对某些扰动的鲁棒性，即使只有模块之间的连接被训练，结构拓扑引入的归纳偏置足够强大，使得网络在固定了模块内连接的情况下仍能表现良好，并且逐渐模块化增长的循环神经网络能够在进化时间尺度上学习越来越复杂的任务，并且有助于构建更可扩展且可压缩的人工网络。

Jun, 2024

RNNs trained on compositional tasks can exhibit functional and anatomical modularity when applying brain-inspired modular training, leading to improved performance and potential applications in neuromorphic computing and enhancing interpretability of neural network architectures.

Oct, 2023

研究评估了一种称为 Brain-Inspired Modular Training (BIMT) 的新方法，通过改善神经网络的可解释性，显著提高了自动电路发现的效率和质量，同时超越了现有模型在电路质量、发现时间和稀疏性方面的性能。

Jan, 2024

利用因果关系的两个概念在大型语言模型中学习独立因果机制，通过引入路由方案实现网络的专业化，并采用最小化互信息目标训练一个独立模块来学习抽象和领域不变机制，从而改善抽象和因果推理任务的超越分布性能。

Feb, 2024