自适应类别出现训练：通过渐进目标演变增强神经网络的稳定性和泛化能力

Sep, 2024

自适应类别出现训练：通过渐进目标演变增强神经网络的稳定性和泛化能力

Adaptive Class Emergence Training: Enhancing Neural Network Stability and Generalization through Progressive Target Evolution

HTML

PDF

Jaouad Dabounou

TL;DR本研究针对传统神经网络分类训练中静态目标输出导致的不稳定性和泛化困难提出了新的解决方案。通过渐进式演变目标输出的方法，神经网络能够更平滑地适应复杂任务，显著降低过拟合风险并提高泛化能力。实验结果表明，该方法在处理高数据复杂性和噪声时，收敛速度更快、准确度更高，开辟了神经网络训练的新方向。

Abstract

Recent advancements in artificial intelligence, particularly deep Neural Networks, have pushed the boundaries of what is achievable in complex tasks. Traditional methods for training Neural Networks in classifica

发现论文，激发创造

训练更快，泛化更好: 随机梯度下降的稳定性

本文证明使用随机梯度方法训练的参数模型少迭代次数即可实现消失的泛化误差，提供了新的对于随机梯度方法多周期泛化性能好的解释，对于神经网络的训练也有新的稳定性解释。

Sep, 2015

AdaNet：人工神经网络的自适应结构学习

本文提出了新的自适应学习人工神经网络的算法 (AdaNet)，可以同时自适应地学习网络结构和权重。通过大规模实验，证明该算法在二元分类任务中表现出色，并且与传统方法中得到的神经网络相比具有竞争力的性能准确性。

Jul, 2016

深度适应实现增量学习

提出了一种名为Deep Adaptation Networks的方法，通过在现有神经网络中添加线性组合的新滤波器来实现学习新技能，而不影响已经学习的性能，以及在各种图像分类任务中表现出良好的效果。

May, 2017

大型神经网络系统设计的渐进式学习

采用progression property算法，利用非线性函数和正则化参数进行系统设计，采用随机矩阵来降低学习参数，多项分类和回归实验表明该设计网络具有较强的泛化能力。

Oct, 2017

教师-学生设置下的两层神经网络随机梯度下降动力学

在大规模数据训练下，研究了超参数化两层神经网络在教师-学生的设置下的动态和表现，证明了SGD的一组微分方程可以捕捉到动态，同时揭示了不同激活函数找到的解决方案的不同表现，并发现了对于神经网络的良好泛化，不仅取决于SGD的性质，还取决于算法，模型架构和数据集的相互作用。

Jun, 2019

稳定性边缘的自适应梯度方法

本文揭示了关于Adam算法等自适应梯度方法在深度学习中的训练动态的知识匮乏。研究结果发现，在Full-batch和足够大的Batch设置中，Hessian预处理的最大特征值通常会达到某个数值，即梯度下降算法的稳定阈值。此外，即使是自适应方法在稳定边缘的训练中，其行为也不同于非自适应方法，因为它们可以不断进入高曲率区域，同时调整预处理器来进行补偿。

Jul, 2022

利用方差迁移和学习速率自适应增量式生长神经网络加速训练

通过考虑参数化和优化策略对训练动态的影响，我们开发了一种高效增长神经网络的方法，该方法动态稳定权重、激活和梯度缩放，提出一种学习率适应机制来解决不平衡训练问题，并取得了与训练大型固定模型相当或更好的准确性和训练速度加快。

Jun, 2023

一种可精确求解的涌现与缩放规律模型

深度学习模型的发展速度、数据量和模型规模的增加会导致其展示出解决新问题的突然能力，这被称为发生现象。本文提出了一个基于技能的框架，其中每一项新能力都被表示为基函数。我们在这个技能基上解决了一个简单的多线性模型，并得到了与培训时间、数据量、模型规模和最佳计算（C）有关的新能力的出现以及丢失的尺度规律的解析表达式。我们将详细的计算结果与在多任务稀疏奇偶性训练数据上训练的两层神经网络的直接模拟进行了比较，其中数据集的任务分布符合幂律分布。我们的简单模型使用了单一的拟合参数，能够捕捉到神经网络中随着训练时间、数据量或模型规模增加而出现的多个新技能的S型发生现象。

Apr, 2024

建立PL不等式下自适应梯度方法线性收敛性的方法学

该论文通过证明当损失函数平滑并满足PL不等式时，自适应梯度方法AdaGrad和Adam可以实现线性收敛。该理论框架采用简单而统一的方法，适用于批量和随机梯度，并可以潜在地用于分析其他Adam变种的线性收敛。

Jul, 2024

自适应类别出现训练：通过渐进目标演变提升神经网络的稳定性和泛化能力

本研究解决了传统神经网络分类训练中静态目标输出造成的优化不稳定和非线性处理困难的问题。我们提出了一种新颖的训练方法，通过在训练过程中逐步演变目标输出，帮助网络更平滑地适应分类任务的复杂性，进而降低过拟合风险，提升泛化能力。实验结果显示该方法在高复杂性和噪声数据场景下，实现了更快的收敛速度和更好的准确性，具有显著的应用潜力。

Sep, 2024