本文提出一种方法在深度神经网络训练期间同时优化网络结构和权重参数的概率分布，可用于解决多种网络结构优化问题，包括层次选择、单元类型选择和连接选择，实验结果表明该方法能够找到适当且具有竞争力的网络结构。

Jan, 2018

通过研究深度神经网络中的残差连接，提出了一种平行浅层架构的替代方案，通过在 Taylor 级数表达式中截断高阶项，发现广而浅的网络架构在性能上与传统的深层架构相当，这一发现有望简化网络架构、提高优化效率并加速训练过程。

Sep, 2023

提出了一种新的神经网络设计方法，其中引导传统算法设计。通过提出两种启发式算法并演示将额外权重合并到其信号流程图中的算法技术，证明了这点。展示了这些网络的性能不仅可以超过初始网络的性能，而且可以达到更传统神经网络架构的性能水平。我们方法的一个关键特征是这些网络的参数初始化具有对于给定任务的体系结构的已知性能阈值。

Jun, 2018

本文提出了一种简单有效的框架来对深度模型进行端到端的剪枝，方法是先引入一个称为 “缩放因子” 的新参数来缩放特定结构的输出，然后对这些因子加入稀疏正则化，并通过修改的随机加速远端梯度（APG）方法解决这个优化问题。将某些因子强制为零，可以安全地移除对应的结构，从而削减 CNN 的不重要部分，该方法相较于其他需要数千次试验或迭代微调的结构选择方法具有更好的性能。

Jul, 2017

本文提出了一个新的框架来得出能够自动、无需超参数训练全连接和卷积神经网络的一阶优化器：自动梯度下降。该理论为下一代结构相关的优化器提供了严谨的理论基础。

Apr, 2023

本篇论文提出一种基于演化有向无环图的算法框架，自动生成高效的深度神经网络并优化其相关超参数，与已有文献中的搜索空间相比更具灵活性，能优化网络的结构和超参数，已经在时间序列预测基准测试中得到了实验结果的验证。

Feb, 2023

本文介绍了一些基于最近深度学习的集体知识挖掘的神经网络结构设计原则，并提出了 FractalNet、Stagewise Boosting Networks 和 Taylor Series Networks 等创新型架构。

Nov, 2016

本文提出一种基于贝叶斯网络结构学习的方法，用于无监督结构学习深度神经网络，通过生成图，构建其随机反向，然后构建一个判别图，证明生成图的潜变量之间的条件依赖关系在条件 “分类条件下” 丢失在判别图，从而实现通用网络深层（卷积和密集）的学习结构替代，在保持分类准确性的同时显著减少计算成本。

Jun, 2018

本文介绍了用于训练神经网络的优化算法、如何应对梯度消失等问题的解决方案、广义优化方法（如 SGD、自适应梯度方法和分布式方法）以及神经网络训练中的全局问题。

Dec, 2019

本文提出了一种基于进化算法的结构构建方法，通过集成知识蒸馏和连接修剪方法，优化 SNN 的突触连接以达到最优状态，并在 CIFAR100 和 DVS-Geste 上进行了实验，结果表明该方法可以在降低连接冗余的同时获得良好的性能。

Apr, 2023