深度学习模型在计算机视觉中的一个主要缺点是它们无法以模块化的方式保留多个信息源。本研究结合了深度学习和权重掩码方法，研究了三种权重掩码方法，并分析了其在源任务上减少 “遗忘” 并在目标任务上进行高效微调的能力。发现不同的掩码技术在保留源任务知识的同时不会对目标任务性能产生不利影响。

Aug, 2023

该论文探讨神经网络的组成特性以及地位，提出了一种基于模块化的网络结构，利用预定的角色将模块拆分，同时提供对模块崩溃问题的解决方案，提高了整个网络的鲁棒性和解析准确性。

Jun, 2023

提出一种模块化的神经网络设计方法，将神经网络分解为控制模块和多个实现基本操作的功能模块，以提高训练速度、训练稳定性和可维护性，并通过比较整体和模块化神经网络在排序问题上的表现来说明模块化概念，同时讨论了在模块化神经网络中出现的一些问题。

Feb, 2019

本研究提出了一种基于逐层单元剪枝和网络分析的方法，用于揭示任务中底层次模块的分层结构，结果表明该方法可以适用于布尔函数和视觉任务。

May, 2023

通过渐进式的模块化增长，研究表明，模块化网络在记忆任务上具有更好的性能、更强的泛化能力和对某些扰动的鲁棒性，即使只有模块之间的连接被训练，结构拓扑引入的归纳偏置足够强大，使得网络在固定了模块内连接的情况下仍能表现良好，并且逐渐模块化增长的循环神经网络能够在进化时间尺度上学习越来越复杂的任务，并且有助于构建更可扩展且可压缩的人工网络。

Jun, 2024

提出了一种新的基于网络分析的方法，通过检测具有相似连接模式的单元的社区或聚类，从分层神经网络中提取全局和简化的结构，并通过实验验证其有效性，从而实现了分解网络、训练评估和数据分析等目的。

Mar, 2017

RNNs trained on compositional tasks can exhibit functional and anatomical modularity when applying brain-inspired modular training, leading to improved performance and potential applications in neuromorphic computing and enhancing interpretability of neural network architectures.

Oct, 2023

利用模型修剪技术，在视觉和语言领域的各种架构、任务和预训练方案中，研究神经网络是否通过模块化子网络实现子程序的解决方案，结果表明神经网络通常可以展示组合性，避免了专门的符号机制。

Jan, 2023

循环神经网络（RNN）是一种通用的并行 - 顺序计算机，其权重矩阵即为其程序。本研究探讨了针对 RNN 权重的机械主义和功能主义方法，并通过对 RNN 进行询问输入来提取信息，开发了理论框架以确定 RNN 行为。通过比较，评估不同的 RNN 权重编码技术对多个下游应用的影响，发现功能主义方法在最具挑战性的任务中表现出明显优势。

Mar, 2024

本文使用注意力机制定义了一组新颖的置换等变的权值空间层，并将它们组合成深度等变模型，称为神经功能变压器 (NFTs)，并利用 NFTs 开发了 Inr2Array，一种从隐式神经表示的权重中计算置换不变潜在表示的新方法。

May, 2023