输入凸性神经网络（ICNN）是能够保证输入 - 输出映射凸性的网络。本文通过对非负权重层的信号传播研究，推导出一种基于原理的 ICNN 权重初始化方法，实验证明这种初始方法有效加速了 ICNN 的学习和提高了泛化性能。此外，ICNN 还被应用于药物发现任务，可以更有效地进行分子潜在空间的探索。

Dec, 2023

我们介绍了两组新的初始化方法：第一组是通过应用变分自动编码器来局部初始化权重组，第二组是通过应用图形超网络来全局初始化完整的权重集合。我们通过在精度、收敛速度和集成方面对采用的生成模型对最先进的神经网络进行了彻底的评估。结果表明，全局初始化导致更高的准确性和更快的初始收敛速度，然而通过图形超网络实现的方式会降低对于超出分布数据的集成性能。为了弥补这个问题，我们提出了一种叫噪声图形超网络的修改方法，鼓励在生成的集成成员中产生多样性。此外，我们的方法可能能够将学到的知识传递给不同的图像分布。我们的工作提供了对于这些新的初始化方法的潜力、权衡和可能修改的见解。

Oct, 2023

本文探讨使用一种网络 (称为超网络) 生成另一种网络 (称为主网络) 权重的超网络方法。超网络可应用于图像识别和序列建模任务，微调权重且性能相较于目前流行的基准模型更接近最佳效果。

Sep, 2016

通过对神经网络架构的深入研究，在初始化和学习率方面提出了新的原则，并验证了其对网络性能的改进，从而为当前架构设计的基准测试提供了新的方法。

Feb, 2024

提出了一种新的神经网络设计方法，其中引导传统算法设计。通过提出两种启发式算法并演示将额外权重合并到其信号流程图中的算法技术，证明了这点。展示了这些网络的性能不仅可以超过初始网络的性能，而且可以达到更传统神经网络架构的性能水平。我们方法的一个关键特征是这些网络的参数初始化具有对于给定任务的体系结构的已知性能阈值。

Jun, 2018

本文研究权重规范化神经网络的参数初始化策略，通过使用平均场近似方法，提出了一种新的参数初始化策略。通过超过 2500 次实验，本文展示了所提出的初始化方法在图像数据集上具有更好的泛化性能、超参数值鲁棒性和种子之间的变异性。而且，该初始化方法与学习率预热相结合，能减小权重规范化神经网络与批量规范化神经网络之间性能的差距。

Jun, 2019

本文提出了一种名为 Prospect Pruning 的修剪方法，它通过 meta-gradients 来确定哪些参数需要被修剪，从而实现在同时保留神经网络准确性的前提下，消耗更少的计算资源并达到最先进的修剪表现。

Feb, 2022

本文探讨了超网络训练中出现的不稳定性问题，分析发现这与常见的超网络模型架构和初始化方法存在关联，提出了一种基于非比例加性参数化的改进超网络构建方法，在多项任务中实验证明该方法能够更加稳定地提高超网络的训练速度和收敛性。

Apr, 2023

该论文研究深度神经网络的性质和学习方式，发现在深层卷积神经网络中，固定大部分权重可以在性能表现上与训练所有权重相媲美，探讨了该性质在创建更强鲁棒性的表示方面的应用。

Feb, 2018

Hypernetworks, or hypernets in short, are neural networks that generate weights for another neural network, allowing for flexibility and having shown promising results in deep learning applications, and we review their progress, presenting an illustrative example and proposing to categorize hypernets on five design criteria.

Jun, 2023