深度学习中超网络的简要评述

Jun, 2023

A Brief Review of Hypernetworks in Deep Learning

Vinod Kumar Chauhan, Jiandong Zhou, Ping Lu, Soheila Molaei, David A. Clifton

TL;DRHypernetworks, or hypernets in short, are neural networks that generate weights for another neural network, allowing for flexibility and having shown promising results in deep learning applications, and we review their progress, presenting an illustrative example and proposing to categorize hypernets on five design criteria.

Abstract

hypernetworks, or hypernets in short, are neural networks that generate weights for another neural network, known as the target network. They have emerged as a powerful →

hypernetworks deep learning neural networks flexibility applications

发现论文，激发创造

超网络

本文探讨使用一种网络 (称为超网络) 生成另一种网络 (称为主网络) 权重的超网络方法。超网络可应用于图像识别和序列建模任务，微调权重且性能相较于目前流行的基准模型更接近最佳效果。

Sep, 2016

贝叶斯超网络

本论文介绍了 Bayesian hypernetworks 这一神经网络近似贝叶斯推断的框架，并通过可逆的变换实现了对其他神经网络参数的高效估计及其复杂后验分布多模式近似。实际应用表明，Bayesian hypernets 能够比 dropout 更好地抵御对抗样本攻击，并在正则化、主动学习和异常检测等一系列任务上表现出竞争力。

Oct, 2017

训练非常深的网络

本文介绍了一种名为 “HighWay Network” 的新型深度神经网络模型，采用门控单元对信息流进行监控，以实现高效的信息传递，从而克服了训练深度神经网络的问题。

Jul, 2015

深度学习系统作为复杂网络

该文章使用复杂网络中常用的技术研究了深度置信网络，以期获得从学习过程中得到的计算图的结构和功能特性的一些见解。

Sep, 2018

神经网络中的深度学习概述

这篇文章总结了深度神经网络在模式识别和机器学习中的应用，包括深度监督学习、无监督学习和强化学习，在搜索深层网络的过程中进行了间接搜索。

Apr, 2014

双曲深度神经网络：一份调查

本文介绍了超半径神经网络的模型以及各个组成部分，探究了其在超几何空间的深度学习方法、机器学习任务上的应用，提出了未来研究方向。