- 稳定超网络学习的非比例参数化
本文探讨了超网络训练中出现的不稳定性问题，分析发现这与常见的超网络模型架构和初始化方法存在关联，提出了一种基于非比例加性参数化的改进超网络构建方法，在多项任务中实验证明该方法能够更加稳定地提高超网络的训练速度和收敛性。
- 自监督学习分离不变等变表示
本文介绍了一种基于超网络的预测器，结合了不变和等变的表示形式，以学习更丰富的表示，进而在等变性相关任务中获得显著的性能提升。同时，本文还介绍了一个名为 3DIEBench 的数据集，其中包含来自 55 个类别的 3D 模型渲染超过 250 - HINT：用超网络调整指令以实现高效的零样本泛化
HINT 利用预训练文本编码器将任务指令和示例转换为参数高效的模块，插入到底层模型中，消除了在模型输入中包含指令的需求，与传统方法相比，其更具有计算效率且一致性表现更好。
- AAAI强化学习中的零样本转移的超网络
本文使用超网络通过一种新颖的基于时序差分的训练目标和数据来生成在一系列未知任务条件下的行为。通过近乎最优的强化学习解决方案的数据，本研究与元 RL、上下文 RL 和迁移学习有关，着重于测试时的零样本表现，这是由任务参数（也称为上下文）的知识 - 基于超网络的专家混合模型用于领域泛化
基于超网络的专家混合（MoE）方法被提出以解决域偏移问题且不需要域标签，并通过探索专家之间的低维向量相似性来共享有用的元知识，该方法在实验中表现出色，实现某些情况下的 SOTA 结果。
- 主动预测编码：一种用于学习层次化世界模型以进行感知和规划的统一神经框架
提出了一种新的预测编码框架，称为主动预测编码，利用超网络、自监督学习和强化学习来学习层次化的世界模型，并成功解决了细分视觉和复杂动作序列组合等多个问题。
- 元强化学习中的超网络
本研究基于机器人实验，研究了在多个相关任务中训练深度强化学习模型的样本效率问题，采用一种称为超网络的方法来解决模型泛化问题，并且提出了一种新的超网络初始化策略，该策略在多个模拟机器人基准测试上的表现超过了现有方法。
- 基于超网络的贝叶斯 MAML 方法
本文提出了一种名为 BayesianHyperShot 的新方法，它是对 Bayesian MAML 的创新性推广。将贝叶斯原则与超网络结合使用，可更好地收敛于经典学习评估，并通过贝叶斯方法提高了适用性，并使用超网络实现高灵活性的任务自适应 - ECCV利用 Transformer 作为元学习器获取隐含神经表征
使用 Transformer 作为超网络构建内隐神经表示，避免信息瓶颈和优化低效性，并在 2D 图像回归和 3D 对象视图合成等任务和领域中展示其有效性。
- CVPR可控的动态多任务架构
本文提出了一种可控的多任务网络，该网络根据用户所需的任务偏好和资源限制以动态方式调整其架构和权重，并通过利用任务亲和性和一种新的分支规则化损失来训练两个超级网络以预测适应权重的树状模型。
- ICMLHyperPrompt：基于提示的 Transformer 任务调节
HyperPrompt 是一种基于 HyperNetwork 的结构，通过生成超级提示来为自注意力模型提供任务条件，使得在任务之间可以灵活地共享信息和实现参数和计算效率，从而在 GLUE 和 SuperGLUE 的自然语言理解基准测试中表现 - CVPRHyperInverter: 通过超网络改进 StyleGAN 逆向
本研究提供了一种基于编码器和超网络的方法以实现高重构质量、可编辑性和快速推理的 GAN 反演，并在两个具有挑战性的数据集上进行了广泛的实验以证明其优越性。
- 未知深度结构的参数预测
本文提出一种基于图神经网络的 Hypernetwork 模型，可以利用已经训练好的神经网络的知识，直接预测神经网络参数，实验结果表明，该模型可以在 CPU 上在秒级时间内预测具有很高的精度和泛化能力，通过该模型的应用，可能开启训练神经网络的 - ACL共享超网络的 Transformer 多任务微调的参数高效方法
本文提出了一种通过使用共享的超网络生成适配器参数来学习所有层和任务的参数高效的多任务学习框架，从而在跨任务共享知识的同时，通过任务特定的适配器使模型适应每个单独的任务，并在已知的 GLUE 基准测试中实现了多任务学习的改进性能。
- 使用超网络进行个性化联邦学习
本文提出了一种基于超网络的个性化联邦学习方法 pFedHN，该方法可以协同训练多个客户端的个性化模型，在考虑数据分布差异和减少通信成本的同时实现有效的参数共享，并在多个个性化联邦学习挑战中得到了很好的表现。
- ICLR使用超网络学习 Pareto 前沿
该研究采用 Pareto HyperNetworks（PHNs）实现了 Pareto-Front Learning（PFL），它通过一个超网络同时学习并输出 Pareto 前沿，并且相比于训练多个模型，该方法具有更高的运行时效率，并可以根据 - ICLR循环神经网络中的持续学习
本文针对循环神经网络 (RNNs) 顺序数据的连续学习 (CL) 方法进行了全面评估，发现了应用权重重要性方法时的特殊性，并提出了一种基于超级网络的正则化方法，有效解决了 RNNs 上的连续学习问题。
- 具有周期性激活函数的隐式神经表示
提出了一种新的神经网络模型 —— 正弦表示网络，可以用于处理带有细节特征的复杂信号及其导数，可以解决泊松方程、赫姆霍兹方程、波动方程等各种边界值问题，并且可以通过超网络学习 Siren 函数的先验知识。
- ICLR超模型用于探索
研究使用超模型来表示认知不确定性并指导探索，通过神经网络模型的线性超模型得出，可以更加准确地近似 Thompson 采样，并使用更复杂的探索策略。
- 使用图形超网络进行分子属性预测和分类
本文中，研究者探究了基于超网络的替代方法，发现在各种基准测试中具有最先进的成果，尤其在学习基于分子的属性预测和分类方面表现突出，并且解决了超网络的稳定性问题。