CVPRNov, 2019

随机加权神经网络中隐藏了什么？

PDF
TL;DR本研究表明，随机加权神经网络中存在着无需训练权重值就能达到惊人性能的子网络，并提供了一种有效的算法来发现这些未经训练的子网络。随着随机加权神经网络变得更加宽和深，未经训练的子网络将逐渐接近具有已知权重的神经网络的准确性水平。
发现论文，激发创造
  • 一个单层随机加权 Transformer 中隐藏了什么？

    通过对单层随机权重神经网络应用不同的二值掩模，我们发现这些子网络在机器翻译任务上可以实现惊人的性能，同时又不需要修改初始权重；我们还证明了更大更深的 Transformer 和不同初始化方法的有效性，这些发现可以匹敌训练过的 Transformer，在 IWSLT14／WMT14 上分别达到了 29.45／17.29 BLEU（匹配 98％／92％，即 34.14／25.24 BLEU）的性能。

    Sep, 2021

  • 随机加权网络的有趣属性：在几乎没有学习的同时进行泛化

    该论文研究深度神经网络的性质和学习方式，发现在深层卷积神经网络中，固定大部分权重可以在性能表现上与训练所有权重相媲美，探讨了该性质在创建更强鲁棒性的表示方面的应用。

    Feb, 2018

  • 在随机二元网络中找到一切

    本文证明，过度参数化的、随机初始化的神经网络可以裁剪成仅由二进制 ±1 权重构成的多项式深度与宽度的网络，以任意精度逼近目标网络。

    Oct, 2021

  • 无关权重的神经网络

    本研究提出了一种搜索方法，寻找可以无需显式权重训练即可执行任务的神经网络框架，并证明该方法可以找到最小的神经网络架构，无需权重训练即可执行多个强化学习任务。

    Jun, 2019

  • 随机初始化子网络与迭代权重回收

    该研究介绍了一种名为 Iterative Weight Recycling 的算法，该算法可在初始化的神经网络中识别重要权重的子集以供重复使用，可以提高模型稀疏度，此外还支持了多奖励彩票票据假设的互补结果，即高精度，随机初始化的子网络产生多样的掩码，展现了高度的变异性。

    Mar, 2023

  • 利用随机权重的强大生成模型用于深度图像表示

    使用未训练的卷积神经网络，创建新的生成模型，用于图像重建、纹理合成和样式转换等深度可视化任务，并发现了新的深度网络结构表示学习的一些特性和规律。

    Jun, 2016

  • 神经红移：随机网络不是随机函数

    神经网络的归纳偏见和简单性偏见对于深度学习的成功是重要的，可以通过不同的架构进行控制。

    Mar, 2024

  • 无需显式正则化，使用极少数据从头开始学习的大型神经网络

    深度神经网络模型通常需要大量训练数据，但是最近的研究结果表明高度参数化的神经网络可以在没有预训练或显式正则化的情况下实现泛化，这对于传统的机器学习是完全违背常识的，该研究进一步证实了这一观点，对于卷积神经网络的应用具有启示意义。

    May, 2022

  • 从权重预测神经网络的准确性

    本研究证明了只通过观察神经网络的权重，而不必评估其输入数据，就能惊人地预测其准确性。通过使用简单的权重统计信息，预测器能够非常准确地排名神经网络的性能，并能对不同数据集和架构训练的网络进行排名。我们发布了一个包含 120k 个卷积神经网络的数据集，以鼓励更多人进行研究，从而更好地了解网络训练和性能。

    Feb, 2020

  • 深度神经网络的采样权重

    我们引入了一种概率分布和高效的采样算法来处理神经网络中的权重和偏差参数，通过玩具模型和实际数据集的实验，证明了我们构造的采样网络是普适逼近器，并且采样框架对于输入数据的缩放和旋转是不变的，这意味着许多流行的预处理技术不再需要。

    Jun, 2023