May, 2023

神经雕刻：通过修剪和网络分析揭示分层模块化任务结构

PDF
TL;DR本研究提出了一种基于逐层单元剪枝和网络分析的方法，用于揭示任务中底层次模块的分层结构，结果表明该方法可以适用于布尔函数和视觉任务。
hierarchical modularityneural networksboolean functionsiterative unit pruninghierarchy inference
发现论文，激发创造
  • 神经网络中结构组合性的证据

    利用模型修剪技术，在视觉和语言领域的各种架构、任务和预训练方案中，研究神经网络是否通过模块化子网络实现子程序的解决方案，结果表明神经网络通常可以展示组合性，避免了专门的符号机制。

    Jan, 2023

  • 层次网络的模块化增长：高效、通用、稳健的课程学习

    通过渐进式的模块化增长，研究表明，模块化网络在记忆任务上具有更好的性能、更强的泛化能力和对某些扰动的鲁棒性，即使只有模块之间的连接被训练，结构拓扑引入的归纳偏置足够强大，使得网络在固定了模块内连接的情况下仍能表现良好，并且逐渐模块化增长的循环神经网络能够在进化时间尺度上学习越来越复杂的任务，并且有助于构建更可扩展且可压缩的人工网络。

    Jun, 2024

  • 人类脑功能网络中的层级模块化

    通过使用计算方法提出一种层次化模块分解大量高分辨率脑功能网络的方法，探讨人类大脑功能网络的层次化模块组织及模块内模块结构，揭示了模块间连接的关键作用，为研究大脑的适应性提供了基础。

    Apr, 2010

  • 神经网络是否具有模块化特性？通过可微分的权重掩码检查功能模块化

    本文提出了一种基于学习二进制权重掩码的方法来识别神经网络中负责特定功能的权重和子网，探讨了神经网络中模块化的新趋势以及相关问题如系统化语言任务的普遍性不足。

    Oct, 2020

  • 分层神经网络的模块化表示

    提出了一种新的基于网络分析的方法，通过检测具有相似连接模式的单元的社区或聚类，从分层神经网络中提取全局和简化的结构，并通过实验验证其有效性，从而实现了分解网络、训练评估和数据分析等目的。

    Mar, 2017

  • 不断成长的大脑：递归神经网络中解剖和功能模块化的协同发展

    RNNs trained on compositional tasks can exhibit functional and anatomical modularity when applying brain-inspired modular training, leading to improved performance and potential applications in neuromorphic computing and enhancing interpretability of neural network architectures.

    Oct, 2023

  • 预训练 Transformer 中的紧密联系模块化

    本文研究使用预训练的 Transformers 中是否存在模块化，发现神经元具有功能专业化，可以通过 Mixture-of-Experts 将分组神经元分配到对应功能模块中。在预训练阶段，模块化结构会更快地稳定，文献代码和数据可在链接中获得。

    May, 2023

  • DAG-DNNs 函数的表示和分解与结构网络剪枝

    通过 DAG-DNN 框架的分解结构，能够将深度神经网络的所有函数分别应用在网络的子结构中，从而实现系统性地结构修剪，进一步得出了基于交错方阵的网络修剪方法。

    Jun, 2023

  • 多子网络假设：通过在前馈神经网络中隔离特定任务的子网络实现多领域学习

    本文阐述了神经网络在多任务学习方面的应用，介绍了神经网络过度参数化和权值修剪技术的理论基础，提出了一种新的神经网络表示结构，使得修剪神经网络可以在多个任务上实现性能提升，而不会出现遗忘或性能减少的问题。

    Jul, 2022

  • 大型网络中的分层块结构和高分辨率模型选择

    通过具备多重尺度的完全描述网络层次结构的嵌套概率模型，可避免现有方法的局限性，在更高的分辨率下检测模块化结构并确保不产生伪模块，且具有一般性和可扩展性，适用于大型网络的高效算法

    Oct, 2013