用坐标搜索算法训练人工神经网络

Feb, 2024

用坐标搜索算法训练人工神经网络

Training Artificial Neural Networks by Coordinate Search Algorithm

Ehsan Rokhsatyazdi, Shahryar Rahnamayan, Sevil Zanjani Miyandoab, Azam Asilian Bidgoli, H.R. Tizhoosh

TL;DR通过提出的梯度 - free 的 Coordinate Search (CS) 算法，本文介绍了一种适用于神经网络的训练方法，该方法能够应用于非可微激活函数和多目标 / 多损失问题，并具有较高的收敛速度。

Abstract

Training Artificial neural networks poses a challenging and critical problem in machine learning. Despite the effectiveness of gradient-based learning methods, such as Stochastic Gradient Descent (SGD), in training neural networks, they do have several limitations. For instance, they r

neural networks gradient-free optimization activation functions multi-objective/multi-loss problems convergence rate

发现论文，激发创造

定性描述神经网络优化问题

本文通过分析，发现现代的神经网络足以直接用随机梯度下降算法实现庞大的非线性优化任务，并且能够克服局部最优解的困难。

Dec, 2014

无梯度训练神经网络：一种可扩展的 ADMM 方法

本文提出了一种不依赖于梯度的训练方法，该方法使用交替方向方法和 Bregman 迭代来训练神经网络，以解决传统优化算法在大规模集群设置中不适用的问题，并在分布式环境中实现了线性加速。

May, 2016

一种快速有监督学习的引导算法

探索一种不依赖于曲线追踪法而是靠新的技术 “分解” 隐藏层和通过引导、重新采样和线性回归来更新它们的加权连接的神经网络训练方式，实验证明这种方法的收敛速度非常快且需要较少数据点。

May, 2023

神经网络使用 SGD 高效地学习低维表示

本文研究了使用随机梯度下降（SGD）训练任意宽度的两层神经网络（NN），其中输入 x 是高斯分布的，目标 y 遵循多指数模型，并证明了当基于 SGD 和权重衰减进行训练时，NN 的第一层权重将收敛于真实模型的向量 u1，...，uk 所张成的 k 维主子空间，从而建立了一个独立于 NN 宽度的一般化误差边界，并进一步证明了，使用 SGD 训练的 ReLU NNs 可以通过恢复主方向来学习单指标目标，其样本复杂度与 d 成线性关系，而不是通过核区域中的任何 p 次多项式的已知 d 奥米（p）样本要求，这表明在初始化时使用 SGD 训练的 NNs 可以胜过神经切向核。

Sep, 2022

使用复步方向导数的二阶神经网络训练

本文提出了一个基于二阶数值优化的深度学习算法。该算法使用复合数算法流的有限差分（CDSD）计算海森矩阵，通过监控泰勒级数的逼近误差，调整步长大小，实现了优化的同时保存良好的局部和全局收敛性，在深度学习任务中表现优异。

Sep, 2020

梯度下降证明过参数化神经网络的最优化

本文研究表明，在神经网络中使用 ReLU 激活函数和随机初始化梯度下降法可以以全局线性收敛率收敛于全局最优解，其分析依赖于神经网络的超参数和随机初始化方式，这些经验也可能有助于分析深度网络等其他一阶方法。

Oct, 2018

稀疏深度神经网络训练的多目标优化

深度学习中存在多个冲突的优化准则，本文提出了一种多目标优化算法，使用修改后的加权切比雪夫标量化方法来训练深度神经网络 (DNNs)，并通过实验证明了可以在训练过程中自适应地稀疏化模型，而不显著影响其性能。

Aug, 2023

始终稀疏训练：引导随机探索下的连接增长

现代人工神经网络的过多计算需求为可以运行它们的机器带来了限制。我们提出一种高效的、始终稀疏训练算法，具有一流的大规模和更稀疏模型的线性时间复杂度，并通过引导随机探索算法改善了先前稀疏训练方法的准确性。

Jan, 2024

EA-CG：一种用于训练全连接神经网络的近似二阶方法

该研究提出了一个实用的近似二阶方法来训练全连接神经网络，其中包括一个 Hessian matrix 的近似和一个共轭梯度（CG）算法，并且通过与一级近似结合的共轭梯度算法，大大减少了空间和时间复杂度。经验研究表明，该方法具有高效性和效果。

Feb, 2018

用于训练 Tikhonov 正则化深度神经网络的收敛块坐标下降算法

本文提出了一种用于训练深度神经网络的光滑的多凸形式，该方法利用了凸分析中的近端点方法，开发了一个块协调下降（BCD）训练算法，证明了其具有全局收敛性和 R - 线性收敛速率，并在实验中展示了优于 Caffe 工具箱中所有随机梯度下降（SGD）变体的表现。

Nov, 2017