Oct, 2022

噪声注入作为深度学习动态探针

HTML
PDF
TL;DR我们提出了一种新方法，通过使用噪声注入节点来干扰系统来探究深度神经网络（DNN）的学习机制。这些节点通过额外的可优化权重注入不相关噪声到现有的前馈网络架构中，而不改变优化算法。我们发现，系统在训练期间显示出不同的阶段，这些阶段由注入噪声的规模决定。我们首先推导出网络动力学的表达式，并将一个简单的线性模型作为测试用例。我们发现，在某些情况下，噪声节点的演变类似于未受干扰的损失，因此指示着将来能够使用噪声注入节点来更好地了解整个系统的可能性。
发现论文，激发创造
  • 深度线性神经网络学习非线性动力学的精确解

    通过对深度线性神经网络的学习动态进行系统分析，我们发现这些网络表现出类似于非线性神经网络的非线性学习现象，包括长时间的平原，然后快速转换到更低误差的解决方案，以及从贪婪的无监督预训练初始条件下的更快收敛等。同时，我们发现在权重的某些特殊初始条件下，非监督预训练可以找到这些初始条件，同时表现出深度独立的学习时间，而随机高斯初始化则做不到。

    Dec, 2013

  • 自动编码器和深度网络中的噪声分析

    自动编码器是无监督学习内部表示的有用框架，本研究将现有的去噪自动编码器扩展到在非线性函数和隐藏单元激活之前注入噪音，提供一种统一的策略来通过设计注入噪声的性质来开发新的内部表示，并表明通过罕见的、去相关、和信息分散的噪声，在深度网络中改善性能。与其他单层技术竞争 MNIST 和 CIFAR-10。

    Jun, 2014

  • 往深层网络添加梯度噪声可改善学习效果

    本文研究了在训练基本和复杂神经网络时添加梯度噪声的效果，发现这种技术可以显著提高训练效果，尤其是在较深的网络结构中更加有效，鼓励将该技术应用于更多复杂现代架构中。

    Nov, 2015

  • 参数噪声注入: 可训练随机化提高深度神经网络对抗性攻击稳健性

    本文提出了一种Parametric-Noise Injection (PNI)技术，使用可训练的高斯噪声注入到神经网络的不同层中，解决min-max优化问题，通过对抗训练来提高网络的鲁棒性，实验表明该方法能有效提高对抗攻击下的网络鲁棒性。

    Nov, 2018

  • 嘈杂循环神经网络

    研究透过向隐含状态注入噪音训练的递归神经网络，已证实该方法可提升其稳定性及鲁棒性。

    Feb, 2021

  • 噪声注入节点正则化用于鲁棒学习

    本文介绍了一种称为噪声注入节点正则化（NINR）的方法，可在深度神经网络（DNN）的训练阶段注入结构化噪声，从而产生紧急的规范化效果，该方法在各种测试数据扰动下可以显著提高DNN的稳健性，并且还可以容易地用于许多标准问题说明，特别是针对无结构噪声的情况，其效果优于现有的其他方法（如Dropout或$L_2$正则化）。

    Oct, 2022

  • 利用噪声作为脉冲神经网络中计算和学习的资源

    本研究提出了噪声脉冲神经网络（NSNN）和噪声驱动学习规则（NDL），并将噪声引入到神经元动力学中，展示了噪声如何作为计算和学习的资源，并提供了一种理论框架。同时，NDL提供了一个替代梯度的合理性解释。结合各种SNN体系结构和算法，我们的方法表现出了竞争性能和鲁棒性，同时还证明了NSNN模型在神经编码研究中的实用性。此外，NSNN为机器学习从业者和计算神经科学研究人员提供了一个强大、灵活和易于使用的工具。

    May, 2023

  • 动态nsNet2: 高效的深度噪声抑制与提前退出

    我们提出基于nsNet2的早期退出模型，通过在不同阶段停止计算，提供多个精度级别和资源节省，并通过分流信息流来适应注入的动态，展示了性能和计算复杂性之间的权衡。

    Aug, 2023

  • 通过向非关键神经元注入噪音来提升DNN的对抗性强度和效率

    通过引入一种非均匀噪声注入算法，本文提出了一种同时提高对抗鲁棒性和执行效率的有效方法，实验证明该方法在多种攻击场景、模型架构和数据集上成功提升了鲁棒性和效率。

    Feb, 2024

  • 通过权重的谱动态来研究深度学习

    本研究针对深度学习中的一些现象存在的统一和澄清的需求，提出了一种以权重的谱动态为中心的实证方法。研究发现，谱动态不仅能区分记忆网络与泛化网络，还能解释稀疏子网络（彩票票据）的出现及损失表面的结构，其结果为理解神经网络在多种环境中的行为提供了一个连贯的框架。

    Aug, 2024