在随机二元网络中找到一切

Oct, 2021

Finding Everything within Random Binary Networks

Kartik Sreenivasan, Shashank Rajput, Jy-yong Sohn, Dimitris Papailiopoulos

TL;DR本文证明，过度参数化的、随机初始化的神经网络可以裁剪成仅由二进制 ±1 权重构成的多项式深度与宽度的网络，以任意精度逼近目标网络。

Abstract

A recent work by Ramanujan et al. (2020) provides significant empirical evidence that sufficiently overparameterized, random neural networks contain untrained subnetworks that achieve state-of-the-art accuracy on

overparameterized neural networks pruning binary weights approximation

发现论文，激发创造

多奖金彩票假设：通过对随机权重网络修剪来发现准确的二元神经网络

本研究提出了 Multi-Prize Lottery Ticket 假设，表明含有随机权重的过度参数化神经网络包含多个可训练子网络，可以通过剪枝和精度量化来获得高精度的二进制神经网络。实验表明通过该方法得到的神经网络可以在 CIFAR-10　和　ImageNet 数据集上达到更高的精度，而且效果比原始的全精度基线模型更好。

Mar, 2021

随机特征在理解神经网络中的能力和局限

本文回顾了最近一系列训练超参数神经网络和学习随机特征的实证结果及其限制性说明，论述了神经网络的理论困境并对其表现出的令人印象深刻的经验结果提出了仍需克服的挑战。

Apr, 2019

随机神经网络的通用逼近性质

研究了随机神经网络的普适逼近性质、Bochner 空间中的逼近速率和维度诅咒，以及与确定性神经网络的比较。

Dec, 2023

对数剪枝是你所需的全部

本文描述了网络里的子网络与大型网络在离线训练时实现可比较的性能，以及删除该前文的最限制性假设并提供更紧的界限来解决网络不需要除目标子网络以外的更多神经元。

Jun, 2020

随机初始化子网络与迭代权重回收

该研究介绍了一种名为 Iterative Weight Recycling 的算法，该算法可在初始化的神经网络中识别重要权重的子集以供重复使用，可以提高模型稀疏度，此外还支持了多奖励彩票票据假设的互补结果，即高精度，随机初始化的子网络产生多样的掩码，展现了高度的变异性。

Mar, 2023

用迭代随机化方法剪枝随机初始化的神经网络

通过随机化权重值的迭代对神经网络进行修剪可以提高参数效率且不影响优化性能。

Jun, 2021

证明《中奖彩票假说》: 剪枝就是你所需的一切

该研究提出彩票票据假设，证明对于每个有界分布以及带有有界权重的目标网络，一个具有随机权重的足够超参数的神经网络包含一个子网络，与目标网络具有大致相同的准确性，而不需要进一步的训练。

Feb, 2020

随机加权神经网络中隐藏了什么？

本研究表明，随机加权神经网络中存在着无需训练权重值就能达到惊人性能的子网络，并提供了一种有效的算法来发现这些未经训练的子网络。随着随机加权神经网络变得更加宽和深，未经训练的子网络将逐渐接近具有已知权重的神经网络的准确性水平。

Nov, 2019

随机加权网络的有趣属性：在几乎没有学习的同时进行泛化

该论文研究深度神经网络的性质和学习方式，发现在深层卷积神经网络中，固定大部分权重可以在性能表现上与训练所有权重相媲美，探讨了该性质在创建更强鲁棒性的表示方面的应用。

Feb, 2018

深度神经网络的采样权重

我们引入了一种概率分布和高效的采样算法来处理神经网络中的权重和偏差参数，通过玩具模型和实际数据集的实验，证明了我们构造的采样网络是普适逼近器，并且采样框架对于输入数据的缩放和旋转是不变的，这意味着许多流行的预处理技术不再需要。

Jun, 2023