该论文提出了基于剪枝算法的神经网络优化方法，能够在不影响网络准确率的情况下减轻计算和内存开销，实现较高的参数压缩比。

Jul, 2016

DeepLIFT是一种通过反向传播将神经网络对特定输入的输出预测分解为网络中所有神经元对每个输入特征的贡献的方法，可用于提高网络解释性并有助于揭示其他方法中可能被忽略的依赖关系。

Apr, 2017

本文证明了神经网络的体系结构、权重和偏差可以从其输出中恢复，对 ReLU 网络的线性片段进行分解，可以从某些预备知识和组件恢复出实际权重和排列。

Oct, 2019

本文研究了深度神经网络并使用表示群流的概念及信息论技巧，分析了其非线性模型的学习机制和有效模型复杂性及超参数等参数的归纳偏置。

Jun, 2021

本文提出一种新的解决方案，通过手术人工神经元，进行神经元移植实现对DNN表达力和鲁棒性的权衡，通过线性化不重要的ReLU神经元来减少大型DNN中的非线性成分，最终实现在维持可证明性的前提下提高模型表现的目的。

Jun, 2022

通过训练一个从一个小初始值开始的任意宽度的一层ReLU神经网络来证明，对于学习单个神经元的基本回归任务，该网络能收敛于零损失并隐含有利于最小化网络参数秩的偏见。

Jun, 2023

使用深度学习调参中的参数化方法，研究残差网络的超参数如何在不同宽度和深度的网络中传递，并证明实验和理论结果的一致性。

Sep, 2023

神经参数分配搜索（NPAS）通过在给定任意固定参数预算的情况下获取网络权重来自动化参数共享。我们改进了先前工作中的两个主要缺点，首先是在搜索和训练步骤之间共享模式的不一致性，其在搜索期间对不同大小的层进行权重变形以衡量相似性，但在训练期间不进行变形，从而导致性能降低。其次，我们改进了共享参数之间相似性的测量方法，我们认为之前的方法仅比较权重本身，而未考虑共享权重之间的冲突程度。相反，我们利用梯度信息识别希望在共享权重之间发生分歧的层。我们证明了我们的超重网络在NPAS设置中在ImageNet和CIFAR数据集上始终提升性能。此外，我们还展示了我们的方法可以使用相同的权重为许多网络架构生成参数。这使我们能够支持高效集成和任意时间预测等任务，并且相比完全参数化的集成方法，我们的方法可以使用更少17％的参数取得更好的性能。

Dec, 2023

参数化神经网络权重的准确性和参数效率之间的基本权衡被研究，表明通过仅使用权重重构目标可以有效地实现恢复原始模型的准确性。此外，通过探索提高权重重构在参数效率约束下的潜在因素，提出了一种新的训练方案，将重构目标与知识蒸馏等辅助目标分离，相对于最先进的方法取得了显著的改进。最后，这些结果为更实际的场景铺平道路，其中需要同时改进模型准确性和预测网络参数效率。

Jun, 2024

本研究探讨了受限参数神经网络的逼近能力，提出理论上虽然可以实现普遍逼近，但在实践中，受限的非线性参数会限制深度神经网络的逼近能力。通过引入$\epsilon$外测量和数值跨度维度（NSdim）等新概念，定量化了网络的逼近能力限制，并提供了对反向传播神经网络与随机参数网络之间关系的新理解。

Sep, 2024