本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法，与传统的剪枝方法不同，本方法采用渐进式连续松弛和网络优化，然后采样稀疏子网络，使得训练出来的深层网络更加高效。实验结果证明，采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。

Jul, 2020

本文研究了网络形态学习的问题，提出了基于图形变换的两种原子型形态学习方法，并基于 ResNet 提出了实现方案。

Jan, 2017

论文介绍了一种名为 NeST 的 DNN 综合工具，它采用增长和修剪的方式来自动学习权重和紧凑的 DNN 网络架构，以生成准确且很小的 DNN 网络。

Nov, 2017

本文提出了一种名为 NeuralScale 的算法，该算法使用了迭代剪枝方法控制神经网络的大小和参数，进而优化了固定神经网络的结构和配置，经过实验得出，NeuralScale 在参数约束的情况下，与默认配置相比，在 CIFAR10、CIFAR100 和 TinyImageNet 的数据集上分别增加了 3.04％，8.56％和 3.41％的准确性，取得了优异的表现。

Jun, 2020

本文提出了一种新的深度学习框架，称为嵌套稀疏网络，它利用神经网络中的 n-in-1 类型嵌套结构，实现资源感知的多功能体系结构，可以满足不同的资源要求，并利用层次分类实现了多任务学习。此外，我们还提出了有效的权重连接学习和通道和层次调度策略，评估了我们的网络在多种任务中的性能。结果表明，嵌套稀疏网络相比现有方法具有更高的效率和竞争力。

Dec, 2017

本文提出了一种基于不可微神经网络结构搜索的有原则方法，用于自动定义多任务神经网络编码阶段的分支结构。该方法通过引入资源感知损失来使模型尺寸动态地可控，最终在有限资源预算内找到高性能分支结构。

Aug, 2020

本文介绍了网络形态学的定义、方程和算法，讨论了如何实现网络形态的改变，提出了参数化激活函数，实验结果表明这种网络形态的改变方案是有效的。

Mar, 2016

本文提出了一种简单有效的框架来对深度模型进行端到端的剪枝，方法是先引入一个称为 “缩放因子” 的新参数来缩放特定结构的输出，然后对这些因子加入稀疏正则化，并通过修改的随机加速远端梯度（APG）方法解决这个优化问题。将某些因子强制为零，可以安全地移除对应的结构，从而削减 CNN 的不重要部分，该方法相较于其他需要数千次试验或迭代微调的结构选择方法具有更好的性能。

Jul, 2017

通过数学形态学（MM）实现全结合卷积神经网络（ConvNets）的二值化，并提出两种新的近似方法以及鲁棒的理论框架来改进其优化。同时，引入正则化损失以提高网络的性能。

Jan, 2024

本文提出了一种利用归纳偏置驱动的网络设计原则和基于层的流形正则化目标来实现神经网络学习过程中提高内存效率的框架，该框架的使用结果相对于传统学习技术具有更好的绝对性能和实证一般化误差，可以无缝地与现有的网络压缩方法相结合。

May, 2023