NIPSNov, 2018
模块化网络：学习分解神经计算
Modular Networks: Learning to Decompose Neural Computation
Louis Kirsch, Julius Kunze, David Barber
TL;DR本研究提出了一种基于条件计算的灵活选择神经模块的训练算法，该算法能够提高深度学习中的模型容量而不需要过多的计算资源和训练时间，并且在图像识别和语言建模任务中实现了比现有方法更好的性能。
Abstract
scaling model capacity has been vital in the success of deep learning. For a
typical network, necessary compute resources and training time grow
dramatically with model size. →
发现论文，激发创造
神经网络学习中复杂性管理的一种手段：模块化
提出一种模块化的神经网络设计方法，将神经网络分解为控制模块和多个实现基本操作的功能模块，以提高训练速度、训练稳定性和可维护性，并通过比较整体和模块化神经网络在排序问题上的表现来说明模块化概念，同时讨论了在模块化神经网络中出现的一些问题。
Feb, 2019
路由网络与模块化、组合计算的挑战
本文研究细致分析了组合学习中需要同时学习模块参数和它们的组合时所面临的挑战并探索了一种名为路由网络的解决方案，考察了该算法在模块组合决策、模块更新和正则化方面对结果的影响。
Apr, 2019
分层神经网络的模块化表示
提出了一种新的基于网络分析的方法，通过检测具有相似连接模式的单元的社区或聚类，从分层神经网络中提取全局和简化的结构，并通过实验验证其有效性，从而实现了分解网络、训练评估和数据分析等目的。
Mar, 2017
层次网络的模块化增长：高效、通用、稳健的课程学习
通过渐进式的模块化增长，研究表明，模块化网络在记忆任务上具有更好的性能、更强的泛化能力和对某些扰动的鲁棒性，即使只有模块之间的连接被训练，结构拓扑引入的归纳偏置足够强大，使得网络在固定了模块内连接的情况下仍能表现良好，并且逐渐模块化增长的循环神经网络能够在进化时间尺度上学习越来越复杂的任务，并且有助于构建更可扩展且可压缩的人工网络。
Jun, 2024
深度学习中条件计算的容量与计算比例呈指数级增长
该论文提出了一种新颖的神经网络权重矩阵参数化方法，通过激活一些参数和计算 “按需” 地在每个样本上进行，从而可以提高参数数量与计算之间的比率，以提高深度神经网络的泛化能力，并且通过树状结构的参数化方式，进一步控制过拟合。
Jun, 2014
手术图像识别的模块化神经网络方法
深度学习应用在最近几年取得了很多成功，尤其是在计算机视觉领域，卷积神经网络取得了可靠的结果。而自我训练和模块化学习是解决数据访问、标注和问题复杂性的有效方法，能提高分类性能和数据标注分割的准确性。
Jul, 2023