使用未训练的卷积神经网络，创建新的生成模型，用于图像重建、纹理合成和样式转换等深度可视化任务，并发现了新的深度网络结构表示学习的一些特性和规律。

Jun, 2016

本研究通过使用非经过训练的 CNN 作为特征提取器，比较了不同随机权重架构在音频分类中的效果，并提供了使用深度神经网络中架构本身进行音频分类的重要证据。

May, 2018

我们提出了一种受扩散模型启发的深度随机特征模型，它具有可解释性，并给出了与具有相同可训练参数数量的全连接神经网络相当的数值结果。我们通过对采样数据分布和真实分布之间的得分匹配性质的属性来推导了随机特征的泛化界限，并通过在时尚 MNIST 数据集和乐器音频数据上生成样本来验证我们的发现。

Oct, 2023

本文回顾了最近一系列训练超参数神经网络和学习随机特征的实证结果及其限制性说明，论述了神经网络的理论困境并对其表现出的令人印象深刻的经验结果提出了仍需克服的挑战。

Apr, 2019

我们介绍了两组新的初始化方法：第一组是通过应用变分自动编码器来局部初始化权重组，第二组是通过应用图形超网络来全局初始化完整的权重集合。我们通过在精度、收敛速度和集成方面对采用的生成模型对最先进的神经网络进行了彻底的评估。结果表明，全局初始化导致更高的准确性和更快的初始收敛速度，然而通过图形超网络实现的方式会降低对于超出分布数据的集成性能。为了弥补这个问题，我们提出了一种叫噪声图形超网络的修改方法，鼓励在生成的集成成员中产生多样性。此外，我们的方法可能能够将学到的知识传递给不同的图像分布。我们的工作提供了对于这些新的初始化方法的潜力、权衡和可能修改的见解。

Oct, 2023

本文研究通过使用随机网络来探索更多元化的连接模式，结果表明新的网络生成器设计可能会在探索更宽泛的搜索空间的同时提高网络的准确性。

Apr, 2019

该论文研究深度神经网络的性质和学习方式，发现在深层卷积神经网络中，固定大部分权重可以在性能表现上与训练所有权重相媲美，探讨了该性质在创建更强鲁棒性的表示方面的应用。

Feb, 2018

本文研究了图神经网络的表达能力，发现其存在局限性。作者提出为每个节点添加随机特征，这样 GNN 就能够学习一些最优多项式时间近似算法，同时该方法方便与其他 GNN 模型结合使用。经实验证明，加入随机特征的 GNN 能够解决一些无法被传统的 GNN 模型解决的问题。

Feb, 2020

本文探讨使用几乎所有权重初始化为 0 的方法来构建深度卷积网络，发现推荐的随机权重初始化并不一定是必要的，关键在于对称破缺机制， 实验结果表明标准 GPU 操作足以使网络产生对称破缺生成足够特征。

Jul, 2020

本研究探讨了深度学习中用于嵌入的各种随机和预先训练的初始化方法对四个自然语言处理任务性能的影响，结果表明预先训练的嵌入略优于随机初始化，但只要方差保持合理，各种随机初始化方法并没有显著差异，并发现高方差初始化会阻止网络使用嵌入空间而强制其使用其他自由参数来完成任务。

Nov, 2017