该研究探讨了在协作学习框架中添加噪声的效果,提出了三种方法来解决深度神经网络中的常见问题,并表明噪声可以作为学习资源来促进协作学习。
Oct, 2019
本文探讨噪声和干扰维度如何影响解释模型结果,以便在深度泰勒分解框架内选择最合适的解释模型。
Nov, 2016
本文研究在训练阶段中的噪声对于人工神经网络算法准确率的影响,通过数值实验表明算法的准确率更多地取决于错误的位置而不是错误的百分比,并展示了在感知机、前馈神经网络和径向基函数神经网络中,对于相同的错误百分比,算法的准确率会显著变化,并且准确率与错误位置的关系与算法无关。然而,随着更复杂的算法,退化曲线的斜率逐渐降低。
May, 2020
本文研究了在训练基本和复杂神经网络时添加梯度噪声的效果,发现这种技术可以显著提高训练效果,尤其是在较深的网络结构中更加有效,鼓励将该技术应用于更多复杂现代架构中。
Nov, 2015
我们的研究目的在于探究一种不依赖对抗样本训练的对抗训练模型方法,通过在神经网络模型的层中嵌入高斯噪声以引入内在的随机性,并通过优化参数时考虑到随机性,我们证实了在正态分布训练下获得的随机体系结构模型在对抗环境中具有鲁棒性,并且发现所用的高斯噪声标准差对鲁棒性和基准准确性的影响与对抗训练中所使用的噪声大小影响相似。
Dec, 2023
研究表明在拥有相同迭代次数的情况下,小或适中大小的 batch 在测试集上比非常大的 batch 具有更好的表现,同时研究如何随着预算增长而改变最佳学习率计划,并提供一个基于随机微分方程的 SGD 动态的理论解释。
Jun, 2020
本文中,我们理论上证明了随机梯度下降法(SGD)中参数相关噪声(由小批量或标签扰动引起)比高斯噪声更加有效,并且具有对训练过度参数化模型的重要隐式正则化效应。
通过多次噪声注入来提高泛化性能使得深度神经网络可以更好地防止过拟合,本文提出了一种使用随机梯度下降迭代中每个训练样本的多个噪声样本来实现更紧密下界的技术,并在几个计算机视觉应用中展示了其优越性。
Oct, 2017
通过比较在不同噪声干扰下使用高斯噪声和 α 稳定噪声训练模型的测试准确性,发现使用 α 稳定噪声更有效,特别是在数据集被突发噪声干扰时,从而提高模型的鲁棒性。因此,提出一种替代在训练数据中添加高斯噪声的新型数据增强方法。
Nov, 2023
通过使用数据抽象来减少噪音对模型性能的影响是一种可行的方法,这可以增强机器学习算法对噪音的鲁棒性。
Jun, 2024