Apr, 2024

提升深度学习性能的随机性技术研究

PDF
TL;DR本研究调查了各种随机化技术对深度神经网络 (DNNs) 的影响，发现添加噪音和随机掩码梯度更新等随机化方法有助于减少过拟合和增强泛化能力。使用粒子群优化器 (PSO) 进行超参数优化，对 MNIST、FASHION-MNIST、CIFAR10 和 CIFAR100 数据集的超过 30,000 个配置进行评估，结果显示数据增强和权重初始化的随机性是主要的性能因素。相关性分析表明不同的优化器偏好不同的随机化类型。GitHub 上提供了完整的实现和数据集。
发现论文，激发创造
  • 神经网络训练中的随机性：工具的影响特征化

    本研究发现，选择的工具如何引入随机性影响深度神经网络的训练，而非确定性的工具对模型的性能影响是复杂的，机器学习中的确定性工具对于 AI 的安全至关重要，但保证确定性的成本因神经网络架构和硬件类型而异。

    Jun, 2021

  • 通过噪声使深度神经网络规则化：解释和优化

    通过多次噪声注入来提高泛化性能使得深度神经网络可以更好地防止过拟合，本文提出了一种使用随机梯度下降迭代中每个训练样本的多个噪声样本来实现更紧密下界的技术，并在几个计算机视觉应用中展示了其优越性。

    Oct, 2017

  • 使用 Dropout 正则化从嘈杂标签中学习深度网络

    该篇论文提出了一种纠正深度神经网络中标签不准确的技术：通过增加一个噪声模型的 softmax 层，采用端到端的随机梯度下降来优化网络以及噪声模型，借助 dropout 正则化防止噪声模型过于简单。在 CIFAR-10 和 MNIST 数据集上的数值实验显示，该 dropout 技术优于最先进的方法。

    May, 2017

  • 对抗鲁棒性的随机化：善、恶与丑

    本研究探讨了深度神经网络面临的对抗攻击问题，提出了随机分类器作为确定性分类器的强大替代品，并且通过实验证明，集成分类器比混合分类器更具抗干扰性。

    Feb, 2023

  • 探究神经网络训练中噪声的重要性

    本文研究神经网络的训练优化问题，利用噪音及扰动的梯度下降和随机梯度下降算法能够在多项式时间内收敛到全局最优解，消除了局部最优解问题。

    Sep, 2019

  • 用迭代随机化方法剪枝随机初始化的神经网络

    通过随机化权重值的迭代对神经网络进行修剪可以提高参数效率且不影响优化性能。

    Jun, 2021

  • 学习的动态性：一种随机矩阵方法

    本文介绍了基于随机矩阵的框架来分析单层线性网络在大维度和规模数据上通过梯度下降训练的学习动态，并对神经网络中的过拟合、早停和训练初始化等问题提供了深入的见解，为进一步研究今天神经网络中出现的更复杂的结构和模型打开了大门。

    May, 2018

  • 网络随机化：增强学习中通用的简单技术

    本文提出一种简单有效的技术，通过引入随机卷积神经网络打乱输入观测数据，在提高深度强化学习智能体的泛化能力方面取得了显著效果，并且通过 Monte Carlo 近似的推理方法来减少随机化引起的方差。我们在 2D CoinRun、3D DeepMind Lab 探索和 3D 机器人控制任务中展示了我们的方法的优越性，相比于其他正则化和数据增强方法明显更加优秀。

    Oct, 2019

  • 随机加权网络的有趣属性：在几乎没有学习的同时进行泛化

    该论文研究深度神经网络的性质和学习方式，发现在深层卷积神经网络中，固定大部分权重可以在性能表现上与训练所有权重相媲美，探讨了该性质在创建更强鲁棒性的表示方面的应用。

    Feb, 2018

  • 控制随机性改善 Transformer 模型的性能

    文中介绍了在自然语言模型的预训练阶段中，通过引入控制性的随机性（即噪音），可以提高模型的微调性能，并在具体的下游任务中探索噪音添加的效果。通过两个下游任务，即联合实体识别与关系抽取以及文本摘要，发现添加此类噪音能够提升性能。

    Oct, 2023