Dec, 2023

人工神经网络的无误训练

PDF
TL;DR传统的人工神经网络训练方法无法系统地实现大数据的零错误率。一种新的训练方法包括三个步骤：首先从传统训练的参数创建一个辅助数据，其对应于克隆数据的损失函数的全局最小值；其次，创建辅助数据和原始数据的一个参数连续（混合）；第三，通过保持每次迭代的零错误训练率，从混合数据的辅助数据端到原始数据端迭代地训练模型。这种连续化方法通过将人工神经网络训练问题转换为训练参数空间中参数化变换的不动点的连续化问题，以动力系统中统一收缩映射定理来保证数值上的收敛。
artificial neural networktraining methodszero-error training ratecontinuation methoduniform contraction mapping theorem
发现论文，激发创造
  • 同构人工神经网络

    本文提出了一种人工神经网络（ANN），作为一类特殊函数（称为广义齐次函数）的全局逼近器。证明了一种齐次通用逼近定理，并提出了将现有 ANN 升级为齐次 ANN 的方法。理论结果通过计算机科学、系统理论和自动控制领域的示例进行支持。

    Nov, 2023

  • ART: 用于证明神经网络正确性的抽象细化引导训练

    本文提出了一种新的神经网络学习框架，该框架通过集成基于优化算法的抽象精炼循环并在动态构建的具有准确性和安全性目标的输入空间的分区上操作，实现训练可证明正确的机器学习网络的目标。通过实现我们的方法并将其应用于强制执行 ACAS Xu 数据集和碰撞检测数据集的一般安全属性，我们证明实现安全不会以很多精度的代价为代价，关键在于采用一个抽象精炼方法对于构建准确和正确的机器学习网络提供了一条有意义的路径。

    Jul, 2019

  • 超越反向传播：使用辅助变量的在线交替极小化

    本研究提出了一种新的在线 (ALternating Minimization) 方法来训练深度神经网络，同时也给出了该方法在随机设置下的理论收敛保证，并在不同体系结构和数据集上展示出具有前景的实证结果。

    Jun, 2018

  • 人工智能中的镜中镜效应：如何预测应用于超参数调整的神经网络的准确度

    本文提出了一种基于神经网络的初始行为来预测其准确性的低成本策略，应用于超参数优化中。结果表明此方法通过使用支持向量机技术能够找到最优准确度对应的超参数设置。

    Jun, 2019

  • 深度神经网络的自适应归一化风险规避训练

    本文提出了一种新的错误标准和学习方法，ANRAT，用于攻击训练深度神经网络（DNNs）中的非凸优化问题，旨在解决 DNNs 中的非凸优化问题，通过改进训练过程，用于解决 MNIST 和 CIFAR-10 数据集上的可视化识别任务。

    Jun, 2015

  • 神经机器翻译的连续学习在低遗忘风险区域内进行

    本篇论文提出了一种基于局部特征训练的两阶段方法，能够实现大规模预训练神经机器翻译模型的连续学习，以适应新任务，采用这种方法能够在不访问以前的训练数据或引入模型分离的情况下解决之前方法的不足。

    Nov, 2022

  • 多层神经网络训练无坏局部最小值：针对数据的独立误差保证

    通过平滑分析技术，我们对具有分段线性激活函数、二次损失和单输出的多层神经网络（MNN）在可微的局部极小值处的训练损失提供保证。特别地，我们证明对于一个具有一个隐藏层的 MNN，几乎每个数据集和 dropout-like 噪声实现的每个可微局部极小值的训练误差都是零，然后将这些结果扩展到多个隐藏层的情况。我们的理论保证对训练数据几乎没有限制，并得到了数值验证。这些结果说明了为什么这些 MNN 的高度非凸损失可以通过局部更新（例如随机梯度下降）进行易于优化，这与经验证据相符。

    May, 2016

  • 一种提高神经网络准确性的新方法：恢复传统反向传播技术

    本研究提出了一种新的即时参数更新方法，通过消除每层计算梯度的需要来加速学习、避免梯度消失问题，并在基准数据集上优于最先进的方法，为高效有效的深度神经网络训练提供了一个有希望的方向。

    Aug, 2023

  • 深度网络中的泛化（IIIb 理论）

    该论文研究了深度神经网络中过拟合的问题，证明了使用特定的损失函数时神经网络的收敛性及性能，提出了一种实用的判断不同零最小化点泛化性能的方法。

    Jun, 2018

  • 定性描述神经网络优化问题

    本文通过分析，发现现代的神经网络足以直接用随机梯度下降算法实现庞大的非线性优化任务，并且能够克服局部最优解的困难。

    Dec, 2014