Aug, 2024

在机器学习中使用准随机序列进行模型权重初始化

HTML
PDF
TL;DR本研究解决了神经网络训练初始权重选择对模型性能的影响问题，探讨使用低差异准随机数生成器(Sobol'序列)替代伪随机数生成器(PRNG)作为权重初始化方法的潜力。研究表明，在120次实验中，60%的情况下，使用准随机生成器的初始化方法要么能更快地达到相同的准确度，要么能实现更高的准确度，从而提升模型训练的效率和效果。
发现论文，激发创造
  • 优化深度线性网络中正交初始化的可证明优势

    本文研究在深度神经网络的梯度优化中最具影响力的超参数选择之一——初始参数值的选择，分析了不同初始化方案的具体影响，证明了从正交组中绘制初始权重相对于具有独立同分布权重的标准高斯初始化会加速收敛，并且展示了如何通过基于动态等谱性的初始化原理初始化非线性网络以获得最佳效果。

    Jan, 2020

  • 神经网络初始化时的剪枝：为什么我们会错过目标？

    研究表明神经网络在初始化阶段进行剪枝是可能的，但是现有方法（SNIP、GraSP、SynFlow和magnitude pruning）表现不如训练后的magnitude pruning，可能是因为这些方法的权重剪枝决策可以通过每层选择剪枝权重比例来替换，这反映出底层剪枝启发式算法及初始化阶段进行剪枝的挑战。

    Sep, 2020

  • 用迭代随机化方法剪枝随机初始化的神经网络

    通过随机化权重值的迭代对神经网络进行修剪可以提高参数效率且不影响优化性能。

    Jun, 2021

  • 解密随机初始化网络以评估生成模型

    通过在随机网络和训练网络的特征空间中进行比较，我们发现随机网络的特征可以作为评估生成模型的一种代替，而且两种类型的特征可互补使用。

    Aug, 2022

  • 从点到源：用生成模型初始化神经网络

    我们介绍了两组新的初始化方法：第一组是通过应用变分自动编码器来局部初始化权重组，第二组是通过应用图形超网络来全局初始化完整的权重集合。我们通过在精度、收敛速度和集成方面对采用的生成模型对最先进的神经网络进行了彻底的评估。结果表明，全局初始化导致更高的准确性和更快的初始收敛速度，然而通过图形超网络实现的方式会降低对于超出分布数据的集成性能。为了弥补这个问题，我们提出了一种叫噪声图形超网络的修改方法，鼓励在生成的集成成员中产生多样性。此外，我们的方法可能能够将学到的知识传递给不同的图像分布。我们的工作提供了对于这些新的初始化方法的潜力、权衡和可能修改的见解。

    Oct, 2023

  • 利用线性初始化改进自编码器收敛速度和完全训练误差

    通过引入Straddled Matrix Initialiser以及ReLU激活函数的组合，本文通过在三个数据集上的autoencoder实验验证了该初始化技术优于其他现有权重初始化方法的性能。

    Nov, 2023

  • 使用较大模型进行初始化

    权重选择为在资源受限环境中训练小型模型提供一种新的方法，通过从预训练的大型模型中选择一部分权重，将知识迁移到更小的模型上，从而显著提升小型模型的性能并减少训练时间。

    Nov, 2023

  • 机器学习中伪随机数生成器的可重现性、能效和性能比较研究：Python、NumPy、TensorFlow和PyTorch实现

    研究探讨在机器学习语言、库和框架中所采用的领先伪随机数生成器（PRNGs）相对于原始C实现的PRNG算法是否具有统计质量和数值可复现性，并评估了其时间效率和能源消耗，发现机器学习技术在时间性能和能源消耗方面与C实现相当，但无法在不同平台上实现相同种子和算法的数值可复现性。

    Jan, 2024

  • 初始化时剪枝的信息论障碍

    彩票模型的存在考虑了深度学习中是否需要大型模型以及是否可以快速识别和训练稀疏网络，而无需训练包含它们的稠密模型。通过对彩票模型的理论解释，揭示了稀疏网络需要依赖于数据的遮罩来稳定插值噪声数据。研究证实了训练过程中获取的信息可以影响模型容量。

    Feb, 2024

  • 提升深度学习性能的随机性技术研究

    本研究调查了各种随机化技术对深度神经网络(DNNs)的影响，发现添加噪音和随机掩码梯度更新等随机化方法有助于减少过拟合和增强泛化能力。使用粒子群优化器(PSO)进行超参数优化，对MNIST、FASHION-MNIST、CIFAR10和CIFAR100数据集的超过30,000个配置进行评估，结果显示数据增强和权重初始化的随机性是主要的性能因素。相关性分析表明不同的优化器偏好不同的随机化类型。GitHub上提供了完整的实现和数据集。

    Apr, 2024