本文提出一种基于图神经网络的 Hypernetwork 模型，可以利用已经训练好的神经网络的知识，直接预测神经网络参数，实验结果表明，该模型可以在 CPU 上在秒级时间内预测具有很高的精度和泛化能力，通过该模型的应用，可能开启训练神经网络的新篇章。

Oct, 2021

本研究证明了只通过观察神经网络的权重，而不必评估其输入数据，就能惊人地预测其准确性。通过使用简单的权重统计信息，预测器能够非常准确地排名神经网络的性能，并能对不同数据集和架构训练的网络进行排名。我们发布了一个包含 120k 个卷积神经网络的数据集，以鼓励更多人进行研究，从而更好地了解网络训练和性能。

Feb, 2020

本研究探讨在已训练的神经网络模型中修剪神经元的问题并提出了一种系统性的方式去除冗余的相似神经元，并且通过在 MNIST 训练网络中修剪密集连接层，达到 85％ 的总参数去除率，在 AlexNet 上达到 35％去除率，并且没有明显影响其性能。

Jul, 2015

该论文研究深度神经网络的性质和学习方式，发现在深层卷积神经网络中，固定大部分权重可以在性能表现上与训练所有权重相媲美，探讨了该性质在创建更强鲁棒性的表示方面的应用。

Feb, 2018

研究了深度神经网络中参数数量的问题，提出了一种可学习的三态 ReLU 参数和一个平稳的正则化方法，通过减少不必要的神经元，可以在不影响预测准确性的情况下显著减少参数数量。

Nov, 2015

研究了两层神经网络中过参数化对学生 - 教师框架的影响，发现只有当学生的隐藏层数量指数级大于输入维度时，才能达到完美的泛化。同时计算了其渐进的泛化误差。

Mar, 2023

本研究提出了一种搜索方法，寻找可以无需显式权重训练即可执行任务的神经网络框架，并证明该方法可以找到最小的神经网络架构，无需权重训练即可执行多个强化学习任务。

Jun, 2019

本文探讨了深度神经网络中冗余特征的提取，发现网络大小和激活函数是促进其提取冗余特征的两个最重要的因素，使用 MNIST 数字识别和 CIFAR-10 数据集中的多层感知器和卷积神经网络说明了该概念。

Jan, 2019

通过三步法修剪不必要的神经元连接，我们成功将 AlexNet 的参数从 6100 万精简到了 670 万，无性能损失。

Jun, 2015

参数化神经网络权重的准确性和参数效率之间的基本权衡被研究，表明通过仅使用权重重构目标可以有效地实现恢复原始模型的准确性。此外，通过探索提高权重重构在参数效率约束下的潜在因素，提出了一种新的训练方案，将重构目标与知识蒸馏等辅助目标分离，相对于最先进的方法取得了显著的改进。最后，这些结果为更实际的场景铺平道路，其中需要同时改进模型准确性和预测网络参数效率。

Jun, 2024