通过使用在系统神经科学任务上训练的循环神经网络，本研究调查了相关网络中模块化结构的特定功能角色、起源和动力学含义等重要特征。研究表明，模块是功能上连贯的单元，有助于专门的信息处理；模块是通过输入层到循环层的投射中的符号和权重的不对称性自发形成的；而且模块在控制系统行为和动力学中具有类似角色的连接。结合起来，我们的研究结果阐明了功能连接模块的功能、形成和操作意义，为进一步研究大脑功能、发展和动力学奠定了基础。

Oct, 2023

本文提出了一种新的方法来解释深度学习模型，并通过结合互信息和网络科学探究了信息在前馈网络中的流动。我们展示了高效近似互信息可以创造一个信息度量，用于量化深度学习模型中任意两个神经元之间流动的信息量，并提出了神经信息流（NIF）技术，用于编码信息流并提供特征归因。

Jan, 2019

RNNs trained on compositional tasks can exhibit functional and anatomical modularity when applying brain-inspired modular training, leading to improved performance and potential applications in neuromorphic computing and enhancing interpretability of neural network architectures.

Oct, 2023

本文提出了一种度量深度神经网络在训练过程中因果结构的度量方法，即有效信息（EI），用于评估每个层的因果影响节点和边缘在其下游目标上的度量。通过分解 EI 以检查每个层的敏感性、退化性和整合信息量，可以在 “因果平面” 上可视化每个层次的连接方式如何随时间变得更加敏感或退化，以及集成如何在训练期间改变。结果有助于理解深度神经网络的泛化能力，并为使 DNN 具有更高的泛化性和可解释性提供基础工具。

Oct, 2020

深度神经网络的功能结构通过功能神经影像学的技术得到了探测。确定的功能网络可以用于模型对齐、模型输出的调节以及在微调中确定权重。

Nov, 2023

通过测量深度神经网络中的信息与激活之间的有效信息，建立了信息复杂度与推广和不变性之间的新关系，并表明低信息复杂度的模型不仅能更好地推广，而且会学习到未来输入的不变表示。

May, 2019

这篇文章探讨从神经科学角度出发，在进行机器学习的探索性研究时，通过指定研究目标且明确探针设计的方向和表现性来实现对于感兴趣特征激活模式的监督模型

Apr, 2021

通过使用计算方法提出一种层次化模块分解大量高分辨率脑功能网络的方法，探讨人类大脑功能网络的层次化模块组织及模块内模块结构，揭示了模块间连接的关键作用，为研究大脑的适应性提供了基础。

Apr, 2010

自然和人工神经系统的神经结构、过程、参数和特征的信息综合表述和建模为神经机器，提出了神经系统计算潜力的全球定量度量作为绝对和相对神经能力的一般信息参数，通过非确定性的感入和感出信息的记忆、分段和聚合，深度神经信息处理代表了分段和聚合阶段的多重替代，将相关神经特征集成到一个包括单元、外围或接口组件的神经机器型模型中，该方法能够克服人工计算实现神经信息过程的技术约束，并提供更加准确的自然描述。

Feb, 2024

本文介绍了一类采用可计算的信息理论模型的深度学习模型，探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法，在该方法的基础上，设计了一种实验框架用于对生成模型进行训练，并对该模型进行验证，同时研究了本模型在学习过程中的行为，得出结论：在所提出的情况下，压缩和泛化之间的关系仍然不明确。

May, 2018