Oct, 2022

噪声注入作为深度学习动态探针

PDF
TL;DR我们提出了一种新方法，通过使用噪声注入节点来干扰系统来探究深度神经网络（DNN）的学习机制。这些节点通过额外的可优化权重注入不相关噪声到现有的前馈网络架构中，而不改变优化算法。我们发现，系统在训练期间显示出不同的阶段，这些阶段由注入噪声的规模决定。我们首先推导出网络动力学的表达式，并将一个简单的线性模型作为测试用例。我们发现，在某些情况下，噪声节点的演变类似于未受干扰的损失，因此指示着将来能够使用噪声注入节点来更好地了解整个系统的可能性。
deep neural networksnoise injection nodeslearning mechanismfeed-forward network architecturesoptimization algorithm
发现论文，激发创造
  • 噪声注入节点正则化用于鲁棒学习

    本文介绍了一种称为噪声注入节点正则化（NINR）的方法，可在深度神经网络（DNN）的训练阶段注入结构化噪声，从而产生紧急的规范化效果，该方法在各种测试数据扰动下可以显著提高 DNN 的稳健性，并且还可以容易地用于许多标准问题说明，特别是针对无结构噪声的情况，其效果优于现有的其他方法（如 Dropout 或 $L_2$ 正则化）。

    Oct, 2022

  • 参数噪声注入：可训练随机化提高深度神经网络对抗性攻击稳健性

    本文提出了一种 Parametric-Noise Injection (PNI) 技术，使用可训练的高斯噪声注入到神经网络的不同层中，解决 min-max 优化问题，通过对抗训练来提高网络的鲁棒性，实验表明该方法能有效提高对抗攻击下的网络鲁棒性。

    Nov, 2018

  • 深度神经网络的噪声响应分析评估其稳健性和结构恶意软件指纹

    本文提出了一种快速特征生成技术，可以对深度神经网络进行快速的安全检测，尤其是可以在几秒钟内检测出所谓的后门 (backdoors)，并且无需大量计算资源和训练数据。

    Jul, 2020

  • 通过向非关键神经元注入噪音来提升 DNN 的对抗性强度和效率

    通过引入一种非均匀噪声注入算法，本文提出了一种同时提高对抗鲁棒性和执行效率的有效方法，实验证明该方法在多种攻击场景、模型架构和数据集上成功提升了鲁棒性和效率。

    Feb, 2024

  • 深度神经网络中的节点扰动有效学习

    Backpropagation (BP) is the dominant method for training deep neural networks, but node perturbation (NP) proposes learning through noise injection and measurement of induced loss change, yielding competitive performance when aligned with directional derivatives and combining with a decorrelating mechanism for layer-wise inputs.

    Oct, 2023

  • 卷积神经网络训练中的数据增强：对图像注入噪声

    本研究分析了不同噪声模型及其强度对卷积神经网络的影响，通过结构相似度（SSIM）度量给出相同大小的噪声模型来进行比较，提出了一些新的启发式策略和建议，可以优化图像分类的最优学习过程。

    Jul, 2023

  • 嘈杂循环神经网络

    研究透过向隐含状态注入噪音训练的递归神经网络，已证实该方法可提升其稳定性及鲁棒性。

    Feb, 2021

  • 利用噪声作为脉冲神经网络中计算和学习的资源

    本研究提出了噪声脉冲神经网络（NSNN）和噪声驱动学习规则（NDL），并将噪声引入到神经元动力学中，展示了噪声如何作为计算和学习的资源，并提供了一种理论框架。同时，NDL 提供了一个替代梯度的合理性解释。结合各种 SNN 体系结构和算法，我们的方法表现出了竞争性能和鲁棒性，同时还证明了 NSNN 模型在神经编码研究中的实用性。此外，NSNN 为机器学习从业者和计算神经科学研究人员提供了一个强大、灵活和易于使用的工具。

    May, 2023

  • 神经网络物理模拟器中的不稳定性问题

    通过分析神经网络在学习线性动力系统时的训练动态，我们发现在数据分布和权重初始化方案等方面可能会导致不稳定性和学习困难，并提出了相关的缓解策略。同时，我们探讨了离散时间和连续时间动力系统学习之间的重要区别以及对非线性系统的拓展。

    Jun, 2024

  • 噪音对神经网络校准和推广的影响

    本研究探索了噪声注入与数据增强策略在改善神经网络鲁棒性和泛化能力方面的影响，通过评估各种注入噪声策略在分布内和分布外情况下对模型校准和泛化能力的影响，发现激活噪声可以有效改善模型的泛化能力，而输入数据增强噪声则可以显著提高模型在分布外的校准效果。

    Jun, 2023