无关权重的神经网络
本文研究卷积神经网络体系结构中共享权重对优化的重要性，探索不同目标函数频率的不同概念，并证明其必要性。研究结果表明，使用共享权重的体系结构与其他不使用共享权重的体系结构在优化方面存在理论差异。
Jun, 2017
本文比较了基于权重共享的高效神经结构搜索算法和随机搜索方法在不同问题领域下的性能表现；同时，该文提出并评估了一些技术手段可用于改进搜索到的结构的质量，进一步降低人工超参数调参的需求。
Aug, 2020
该论文研究深度神经网络的性质和学习方式，发现在深层卷积神经网络中，固定大部分权重可以在性能表现上与训练所有权重相媲美，探讨了该性质在创建更强鲁棒性的表示方面的应用。
Feb, 2018
本研究表明，随机加权神经网络中存在着无需训练权重值就能达到惊人性能的子网络，并提供了一种有效的算法来发现这些未经训练的子网络。随着随机加权神经网络变得更加宽和深，未经训练的子网络将逐渐接近具有已知权重的神经网络的准确性水平。
Nov, 2019
研究了深度神经网络中参数数量的问题，提出了一种可学习的三态 ReLU 参数和一个平稳的正则化方法，通过减少不必要的神经元，可以在不影响预测准确性的情况下显著减少参数数量。
Nov, 2015
本研究证明了只通过观察神经网络的权重，而不必评估其输入数据，就能惊人地预测其准确性。通过使用简单的权重统计信息，预测器能够非常准确地排名神经网络的性能，并能对不同数据集和架构训练的网络进行排名。我们发布了一个包含 120k 个卷积神经网络的数据集，以鼓励更多人进行研究，从而更好地了解网络训练和性能。
Feb, 2020
作者通过研究证明，多个深度学习模型的参数化存在显著冗余，只需几个权重值，即可准确地预测其余值，且许多权重值无需学习，通过学习小部分权重值并预测其余值，能在不降低准确性的情况下预测网络中超过 95% 的权重值。
Jun, 2013
本研究提出一种基于贝叶斯方法的神经网络架构参数估计方法，通过学习这些参数的具体分布来实现。研究表明，具有学习结构的正则网络在小数据集上可以更好地泛化，而完全随机化的网络可以更强健地处理参数初始化。与基于随机搜索的架构搜索不同，所提出的方法依赖于标准的神经变分学习，不需要对模型进行重新训练，从而最小化计算开销。
Jan, 2019
本研究提出了一种统一的概率架构与权重集成神经架构搜索方法，利用概率神经架构搜索和近似贝叶斯推理的进展，从神经网络架构和权重的联合分布生成集成模型，取得了较大的进步。
Oct, 2022