Oct, 2023

不断成长的大脑：递归神经网络中解剖和功能模块化的协同发展

PDF
TL;DRRNNs trained on compositional tasks can exhibit functional and anatomical modularity when applying brain-inspired modular training, leading to improved performance and potential applications in neuromorphic computing and enhancing interpretability of neural network architectures.
recurrent neural networksfunctional modularityanatomical modularitybrain-inspired modular trainingneuromorphic computing
发现论文，激发创造
  • 层次网络的模块化增长：高效、通用、稳健的课程学习

    通过渐进式的模块化增长，研究表明，模块化网络在记忆任务上具有更好的性能、更强的泛化能力和对某些扰动的鲁棒性，即使只有模块之间的连接被训练，结构拓扑引入的归纳偏置足够强大，使得网络在固定了模块内连接的情况下仍能表现良好，并且逐渐模块化增长的循环神经网络能够在进化时间尺度上学习越来越复杂的任务，并且有助于构建更可扩展且可压缩的人工网络。

    Jun, 2024

  • 人类脑功能网络中的层级模块化

    通过使用计算方法提出一种层次化模块分解大量高分辨率脑功能网络的方法，探讨人类大脑功能网络的层次化模块组织及模块内模块结构，揭示了模块间连接的关键作用，为研究大脑的适应性提供了基础。

    Apr, 2010

  • 通过循环神经网络的优化出现头向系统的功能和结构特性

    本文研究了神经网络在模拟神经电路的结构和功能方面的表现，通过对啮齿动物和果蝇的头部定向系统进行的研究，证明了神经网络可以自然地产生指南针神经元和移位器神经元等不同类别的神经元，其结果表明，人工神经网络可用于在神经活动和解剖组织层面上研究大脑。

    Dec, 2019

  • 递归神经网络中的功能连接模块：功能、起源和动力学

    通过使用在系统神经科学任务上训练的循环神经网络，本研究调查了相关网络中模块化结构的特定功能角色、起源和动力学含义等重要特征。研究表明，模块是功能上连贯的单元，有助于专门的信息处理；模块是通过输入层到循环层的投射中的符号和权重的不对称性自发形成的；而且模块在控制系统行为和动力学中具有类似角色的连接。结合起来，我们的研究结果阐明了功能连接模块的功能、形成和操作意义，为进一步研究大脑功能、发展和动力学奠定了基础。

    Oct, 2023

  • 结合解剖学知识的大脑功能网络集成贝叶斯分析

    通过采用分层贝叶斯高斯图模型，该研究方法能够利用结构连接知识来估计功能网络，从而提高了功能大脑网络估计的准确性和拓扑特征在扫描会话间的可重复性。

    Feb, 2018

  • 利用大脑模块性先验进行 fMRI 可解释表征学习

    本文提出了一种基于大脑模块化的动态表示学习框架，利用图神经网络和神经认知模块进行核心区域的提取，以更好地利用脑功能网络的模块化结构，探究有效的 fMRI 生物标记物用于临床诊断。

    Jun, 2023

  • 一种新的脑区分方法突出了结构和功能共享的模块骨架

    运用理论图分析研究单独收集自健康人体的结构连接和静息状态功能连接数据集，旨在寻找结构和功能共享的主要特征，揭示了结构功能模块的存在，说明大脑结构和静息状态动力学之间的强相关性。

    Oct, 2014

  • 预训练 Transformer 中的紧密联系模块化

    本文研究使用预训练的 Transformers 中是否存在模块化，发现神经元具有功能专业化，可以通过 Mixture-of-Experts 将分组神经元分配到对应功能模块中。在预训练阶段，模块化结构会更快地稳定，文献代码和数据可在链接中获得。

    May, 2023

  • 眼见为实：面向机械解释性的脑启发式模块化训练

    本文介绍了一种类脑的模块化训练方法，称为 BIMT，可以使神经网络更具有模块化和可解释性，能够应用于多个任务，如符号公式，决策边界和算法数据集的组合结构，可以通过裸眼直接看到模块，以补充当前机械可解释性策略。

    May, 2023

  • 神经雕刻：通过修剪和网络分析揭示分层模块化任务结构

    本研究提出了一种基于逐层单元剪枝和网络分析的方法，用于揭示任务中底层次模块的分层结构，结果表明该方法可以适用于布尔函数和视觉任务。

    May, 2023