Nov, 2023

异常数据对神经网络优化的影响

PDF
TL;DR我们揭示了神经网络优化中的新现象，其由深度和自然数据中特定重尾结构的相互作用产生。通过实验证明，在训练数据中具有相反信号的成对异常值对网络输出具有显著影响，并描述了如何识别和研究其对网络优化和行为的影响。我们的发现为训练行为提供了新的定性预测，并为随机优化方法的研究和改进提供了新的视角。
neural network optimizationheavy-tailed structuretraining dynamicsoutliersstochastic optimization
发现论文，激发创造
  • 神经网络训练中异常特征的理解和最小化

    深入研究在神经网络训练中为什么会出现异常特征（Outlier Features），如何最小化它们的影响，并提出了预防措施，包括量化指标、架构选择、信号传播控制等。

    May, 2024

  • 深度神经网络的非对称谷探索与利用

    探索深度神经网络（DNNs）的损失景观可以揭示其内在原理。我们的研究系统地探索了影响 DNNs 山谷对称性的因素，包括数据集、网络架构、初始化、超参数以及噪声的大小和方向。我们的主要观察表明，噪声与收敛点之间的符号一致性是山谷对称性的关键指标。从 ReLU 激活函数和 softmax 函数的角度可以解释这一有趣现象。我们的发现在模型融合方案中带来新的理解和应用，特别是插值单独模型的有效性与它们的符号一致性比例相关，并在联邦学习中实施符号对齐成为模型参数对齐的创新方法。

    May, 2024

  • 对抗训练下类人行为的扩展研究

    本文探讨了神经网络对分布偏移的敏感性问题解决方案中的对抗训练，以及了解到神经网络与人类理解不同的处理方式，更进一步地研究对抗训练对于神经网络偏向形状的影响并给出可能的解释，从频率角度分析了其效果。

    Mar, 2023

  • 定性描述神经网络优化问题

    本文通过分析，发现现代的神经网络足以直接用随机梯度下降算法实现庞大的非线性优化任务，并且能够克服局部最优解的困难。

    Dec, 2014

  • 关于对抗样本现象的边界倾斜视角

    深度神经网络对抗样本现象的新视角及分类方法的研究。

    Aug, 2016

  • 通过简单偏好的视角早期识别训练中的伪偏差

    研究表明，梯度下降训练的神经网络具有归纳偏差，倾向于学习简单的解决方案，导致学习到与标签高度相关的简单虚假特征而非复杂的核心特征，此文介绍一种名为 SPARE 的方法，能够早期发现含有虚假相关性的大型分组，并利用重要性抽样来平衡组大小，从而减轻虚假关联的影响，相对于现有方法，SPARE 方法的最差组准确度提高了最高达 5.6%，速度提高了多达 12 倍。

    May, 2023

  • 探究神经网络训练中噪声的重要性

    本文研究神经网络的训练优化问题，利用噪音及扰动的梯度下降和随机梯度下降算法能够在多项式时间内收敛到全局最优解，消除了局部最优解问题。

    Sep, 2019

  • 深度网络中的特征学习与泛化及正交权重

    完全连接的深度神经网络，其权重从独立的高斯分布初始化，可以调整到临界状态，阻止信号在网络中传播时呈指数增长或衰减。然而，这种网络仍然会表现出与网络深度线性增长的波动，这可能会削弱与深度相当的宽度网络的训练。我们在理论上证明了矩形网络与双曲正切激活函数以及从正交矩阵集合初始化权重，其相应的预激活波动与深度无关，以逆宽度为导数阶主导。此外，我们通过数值实验表明，初始化时在逆宽度方向上控制可观测量的演变的神经切向核（NTK）及其后代涉及的相关者的饱和深度约为 20，而不像高斯初始化的情况下无限增长。我们推测这种结构保留了有限宽度特征学习的同时，降低了整体噪声，从而改善了泛化能力和训练速度。通过将 NTK 的经验测量与深度非线性正交网络在 MNIST 和 CIFAR-10 分类任务上的卓越性能联系起来，我们提供了一些实验上的证明。

    Oct, 2023

  • 神经网络优化路径的简单几何

    本研究探讨了神经网络中采样梯度沿优化路径的基本几何特性，发现这些特性在大多数训练期间保持稳定动态，并提供了线性收敛的理论保证和反映经验实践的学习率计划。

    Jun, 2023

  • 通过稳定的边界学习阈值神经元

    本文研究了大学习率下神经网络训练的非凸性动态，证明了时的稳定性边界，并发现了控制阈值激活函数的第一层偏置和学习率之间的相互关系。

    Dec, 2022