- 用于个性化处理非典型语音的超网络
通过参数效率高的微调,将一般语音识别模型个性化为适于非典型语音的模型,通过使用元学习的超网络,在生成高度个性化的语音适应时,不再需要特定的同伴模型。
- 大型语言模型的动态个性生成
通过使用大型语言模型结合动态个性生成方法,本研究探索并增强了人类思考的模仿能力,特别关注个性方面,在对话数据集上的推进训练使得动态个性生成方法(DPG)在生成个性时具有比传统方法更强的能力,从而超越了基于提示的 GPT-4 模型。
- HyperLLaVA:基于动态视觉和语言专家调整的多模态大型语言模型
通过使用 HyperLLaVA 和 HyperNetworks,我们在多模态大型语言模型方面取得了巨大的进展,并在多个基准测试中显著超越了现有的解决方案。
- Hyper-CL: 使用超网络对句子表示进行条件化
该论文介绍了一种高效的方法,将超网络与对比学习结合起来,以计算条件化的句子表示,通过在不同条件下将同一句子嵌入投影到不同的空间,从而展示了计算效率。
- 通过概括研究超调整的有效性
基于 Gisting 的超网络是经济且易于实现的方法,能够使用改进的注意力掩码将信息压缩为更少的令牌表示形式。在实验中展示了 HyperLlama 模型可以将少样本示例中的信息有效地压缩为软前缀,并且这些软前缀可以作为更好的初始化方式进行进 - HyperMoE: 通过专家之间的迁移改进更好的专家混合
HyperMoE 是一种基于 Hypernetworks 的新型 Mixture of Experts (MoE) 框架,通过利用未选择的专家生成的特定模块作为补充信息,实现在保持选择稀疏性的同时利用未选择的专家的知识,从而在相同条件下显著 - 超网络的优化器、初始化器和架构对示教式连续学习的影响
对于连续学习从示范中(CLfD)的研究,本文通过一项探索性研究评估了不同优化器、初始化方法和网络架构对于 CLfD 中超网络学习性能的影响。结果表明,自适应学习率优化器效果很好,但针对超网络设计的初始化方法对于 CLfD 没有优势。同时,我 - INFAMOUS-NeRF: 利用语义对齐的超网络和神经辐射场改进面部建模
我们提出了 INFAMOUS-NeRF,一种隐式可塑性人脸模型,通过引入超网络到 NeRF 中,改善在训练多个主题时的表示能力。同时,INFAMOUS-NeRF 通过学习语义对齐的潜在空间来解决了经典超网络在表示能力和可编辑性之间的权衡问题 - 发现组件化概括性的模块化解决方案
通过模块性和超网络的研究,我们证明了从有限数据中的元学习可以发现能够组合性地概括的模块化解决方案。
- AAAIHyperEditor: 通过超网络在图像编辑中实现真实性和跨领域能力
一种新颖的图像编辑方法 HyperEditor,通过利用由超网络生成的权重因子重新分配预训练的 StyleGAN2 生成器的权重,结合 CLIP 的跨模态图像 - 文本语义对齐,实现了真实属性编辑和跨域风格转换的同时能力,且在效率上得到改善 - 超网络的原则性权重初始化
通过对超网络进行权重初始化,我们提出了更稳定的主网络权重、更低的训练损失和更快的收敛速度。
- 利用超网络生成可解释的网络
通过使用超网络生成未知算法的可解释网络,控制网络复杂性以及对输入维度的系统化泛化进行了研究。
- 循环超网络在元强化学习中的强大能力
深度强化学习中的元强化学习通过学习可以进行少样本训练的方式来解决样本低效问题。本文通过实证调查发现,当与超网络结合时,远比现有专门方法更简单的循环网络可以实现最强的性能。
- 超高 LoRA
使用 LoRA-based HyperPINN 模型,在减少参数预测的维度的同时,通过添加基于物理方程的损失组件,显著改善了模型的泛化能力,使其能够有效地求解参数化偏微分方程,例如 Burger's 方程和 Navier Stokes: K - 基于部分超网络的持续学习
本研究提出了部分权重生成的超网络,针对连续学习中忘记问题进行了实验,发现与激活重演方法相比,部分超网络保持了先前经验的准确性,并提供了计算和最终测试准确性之间有效的平衡。
- 深度学习中超网络的简要评述
Hypernetworks, or hypernets in short, are neural networks that generate weights for another neural network, allowing for - 使用超网络学习改进的 NeRF 先验知识的 HyP-NeRF
本文提出了一种使用超网络来学习可推广类别级神经辐射场先验的隐式编码方法,称为 HyP-NeRF。 HyP-NeRF 不仅可以显着提高质量,而且还可以在多个下游任务中使用。
- ColdNAS:面向用户冷启动的推荐搜索调节
通过神经架构搜索,我们提出了一个用于解决用户冷启动问题的调制框架,称为 ColdNAS,该框架能够根据不同的数据集自适应地选择不同的调制函数,从而为冷启动用户进行个性化推荐提供更好的性能表现。
- 异质性治疗效果评估的动态治疗信息共享
本文提出了一种基于深度学习的框架,用于训练通过软权重共享的超网络实现不同处理组之间的动态端到端信息共享,并解决了现有 CATE 学习者在训练时需要将数据拆分为潜在结果函数的问题,增加了新型的不确定性感知 CATE 学习者类 HyperCAT - 打破可解释深度学习的悖论
该研究提出了一种使用新方法训练的深度超网络来生成可解释的线性模型的方法,以保留黑匣子深度网络的准确性并提供自由的可解释性,而需要与黑匣子深度模型相同的运行时和内存资源,实现了实用性,实验结果表明,该可解释的深层网络在表格数据上与最先进的分类