Hypernetworks, or hypernets in short, are neural networks that generate weights for another neural network, allowing for flexibility and having shown promising results in deep learning applications, and we review their progress, presenting an illustrative example and proposing to categorize hypernets on five design criteria.

Jun, 2023

本研究提出了部分权重生成的超网络，针对连续学习中忘记问题进行了实验，发现与激活重演方法相比，部分超网络保持了先前经验的准确性，并提供了计算和最终测试准确性之间有效的平衡。

Jun, 2023

通过使用超网络生成未知算法的可解释网络，控制网络复杂性以及对输入维度的系统化泛化进行了研究。

Dec, 2023

本论文介绍了 Bayesian hypernetworks 这一神经网络近似贝叶斯推断的框架，并通过可逆的变换实现了对其他神经网络参数的高效估计及其复杂后验分布多模式近似。实际应用表明，Bayesian hypernets 能够比 dropout 更好地抵御对抗样本攻击，并在正则化、主动学习和异常检测等一系列任务上表现出竞争力。

Oct, 2017

该论文研究深度神经网络的性质和学习方式，发现在深层卷积神经网络中，固定大部分权重可以在性能表现上与训练所有权重相媲美，探讨了该性质在创建更强鲁棒性的表示方面的应用。

Feb, 2018

通过 HyperMask 方法，利用受 Lottery Ticket Hypothesis 影响的超网络产生适应新任务的半二值掩码，从而解决了人工神经网络在连续训练多个任务时遇到的灾难性遗忘问题。

Sep, 2023

通过对超网络进行权重初始化，我们提出了更稳定的主网络权重、更低的训练损失和更快的收敛速度。

Dec, 2023

该论文提出了一种基于超图卷积网络的新型框架 HNHN 来进行超图表示学习，其中包括非线性激活函数和灵活的归一化方案，实验结果表明与现有方法相比，在真实世界数据集上表现更好，具有更高的分类精度和速度。

Jun, 2020

该研究探讨了一种利用神经网络将模型的权重作为超参数的函数，实现对超参数和模型权重进行联合随机优化的方法，相较于传统的超参数优化方法，本方法在调整上千个超参数方面更加有效。

Feb, 2018

本文提出了一种基于任务条件化超网络的新方法，使得连续学习的模型可以通过简单的关键特征记住特定任务的权重实现在记忆中的持久化，并在标准连续学习基准测试上达到了最先进的性能，同时揭示了该方法在迁移学习上的应用前景。

Jun, 2019