随机加权网络的有趣属性：在几乎没有学习的同时进行泛化

Feb, 2018

随机加权网络的有趣属性：在几乎没有学习的同时进行泛化

Intriguing Properties of Randomly Weighted Networks: Generalizing While Learning Next to Nothing

Amir Rosenfeld, John K. Tsotsos

TL;DR该论文研究深度神经网络的性质和学习方式，发现在深层卷积神经网络中，固定大部分权重可以在性能表现上与训练所有权重相媲美，探讨了该性质在创建更强鲁棒性的表示方面的应用。

Abstract

Training deep neural networks results in strong learned representations that show good generalization capabilities. In most cases, training involves iterative modification of all weights inside the network via back-prop

deep neural networks back-propagation convolutional neural network fixed weights robust representations

发现论文，激发创造

重新思考泛化对于了解深度学习至关重要

该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

Nov, 2016

随机加权神经网络中隐藏了什么？

本研究表明，随机加权神经网络中存在着无需训练权重值就能达到惊人性能的子网络，并提供了一种有效的算法来发现这些未经训练的子网络。随着随机加权神经网络变得更加宽和深，未经训练的子网络将逐渐接近具有已知权重的神经网络的准确性水平。

Nov, 2019

随机特征在理解神经网络中的能力和局限

本文回顾了最近一系列训练超参数神经网络和学习随机特征的实证结果及其限制性说明，论述了神经网络的理论困境并对其表现出的令人印象深刻的经验结果提出了仍需克服的挑战。

Apr, 2019

利用随机权重的强大生成模型用于深度图像表示

使用未训练的卷积神经网络，创建新的生成模型，用于图像重建、纹理合成和样式转换等深度可视化任务，并发现了新的深度网络结构表示学习的一些特性和规律。

Jun, 2016

随机反馈权重支持深度神经网络学习

提出一种新的深度学习算法，通过随机突触权重与误差信号相乘来学习网络的参数，有效地规避了神经回溯算法在大脑构造中的限制。

Nov, 2014

深度学习中学习重新加权示例的重新实现

通过元训练和在线权重逼近方法，本文旨在解决使用深度神经网络时出现的噪声标签和训练集偏差对模型表现造成的问题，并通过使用充满挑战的不平衡图像数据集进行皮肤癌检测的真实问题来验证这一方法。

May, 2024

神经网络的迷人特性

本论文在研究深度神经网络的高层特性时，发现高层单元与随机线性组合之间没有明显差别，并得出神经网络学习的输入输出映射具有不连续性以及网络可被微小扰动误分类等结论。

Dec, 2013

神经红移：随机网络不是随机函数

神经网络的归纳偏见和简单性偏见对于深度学习的成功是重要的，可以通过不同的架构进行控制。

Mar, 2024

基于学生 - 老师框架的随机特征模型的在线学习

研究了两层神经网络中过参数化对学生 - 教师框架的影响，发现只有当学生的隐藏层数量指数级大于输入维度时，才能达到完美的泛化。同时计算了其渐进的泛化误差。

Mar, 2023

带有随机高斯权重的深度神经网络：一种通用的分类策略？

本研究证明深度神经网络具有保留核心信息、能准确处理不同类别数据和传递关于未见数据的信息等重要属性，同时实现距离保持嵌入，并验证此结果适用于现有各类深度神经网络。

Apr, 2015