second-order optimization | BriefGPT

关键词second-order optimization

搜索结果 - 12

SOUL：解锁第二阶优化对 LLM 取消学习的力量
通过选择优化器，本研究揭示了第二阶优化在大型语言模型的遗忘中的重要性，并基于该观察开发了一个名为 SOUL 的基于第二阶修剪随机优化的遗忘框架，扩展了传统的一次性模型更新到动态的迭代遗忘过程，消除了影响数据对模型的影响，并在各种遗忘任务、模
PDF2 months ago
Ginger：一种适用于一般神经网络的线性复杂度高效曲率近似方法
通过 Ginger 方法，我们提供了对应于广义 Gauss-Newton 矩阵的逆矩阵的有效线性内存和时间复杂度的特征分解，从而使近似更加准确。
PDF5 months ago
关于参数化的二阶优化方法适用于无限宽度
通过提出一种特定的参数化方式，我们通过一步更新梯度和合适的超参数尺度来提高特征学习的鲁棒性，从而在大规模模型中加速深度神经网络的训练，并实现了更高的泛化性能。
PDF6 months ago
通过高阶导数总结将牛顿法应用于神经网络
本研究论文介绍了一种基于梯度的优化方法，并提出了一个计算上廉价的技术，用于获得有关张量之间交互关系的二阶信息。使用这种技术，构建了适用于各种深度神经网络结构的二阶优化方法，避免了计算 Hessian 矩阵和其近似的复杂性，并改善了现有的对角
PDF7 months ago
曲率感知坐标网络的训练
本文提出了一种利用二阶优化方法显著减少坐标网络训练时间并维护其可压缩性的解决方案，并在各种信号模态（如音频、图像、视频、形状重构和神经辐射场）上证明了其有效性。
PDFa year ago
FedSSO: 一种联合服务器端二阶优化算法
提出了 FedSSO，一种用于联邦学习的服务器端二阶优化方法，通过使用服务器端近似的拟牛顿方法，我们不仅将计算负担转移给了服务器，而且完全消除了客户端和服务器之间用于二阶更新的额外通信，我们提供了对新方法的收敛的理论保证，并在凸和非凸环境中
PDF2 years ago
使用复步方向导数的二阶神经网络训练
本文提出了一个基于二阶数值优化的深度学习算法。该算法使用复合数算法流的有限差分（CDSD）计算海森矩阵，通过监控泰勒级数的逼近误差，调整步长大小，实现了优化的同时保存良好的局部和全局收敛性，在深度学习任务中表现优异。
PDF4 years ago
（过参数化）神经网络的近线性时间训练
该论文提出了一种基于随机线性代数的改进的二阶优化算法，重新解构了高斯牛顿迭代，使用快速 Johnson-Lindenstrauss 变换进行预处理，并使用一阶共轭梯度法得到足够好的近似解来训练 (moderately overparamet
PDF4 years ago
分布式牛顿法通信成本降低并抵抗拜占庭工人
我们提出了一种分布式的二阶优化算法，该算法具有通信效率和对其工作机的拜占庭故障的强鲁棒性，并通过使用一种简单的基于阈值的规则来过滤工作机来进一步压缩本地信息，由此建立了改进的收敛保证.
PDF4 years ago
AAAISPAN：一种随机投影近似牛顿法
本文提出了一种快速的二阶优化算法 SPAN, 通过低秩逼近和随机海森向量相乘的方式来计算黑塞矩阵的逆，实验结果证明 SPAN 在多个基准数据集上优于现有的一阶和二阶优化算法，同时提供了每次迭代的复杂度、逼近误差和收敛速度的理论分析，表明 S
PDF4 years ago
CVPR基于 Kronecker-Factored 近似曲率的大规模分布式二阶优化在深度卷积神经网络中的应用
本文提出了使用次优化方法的替代方法，以解决深度神经网络的大规模分布式训练中可能出现的泛化差距问题，同时在基准测试中，我们的方法能够在更短的迭代次数内，就实现与一阶方法相当的泛化能力，并能够处理更大的 mini-batch。
PDF6 years ago
Krylov 子空间下降用于深度学习
本研究提出了一个针对高维模型和大量训练样本的二阶优化方法，使用 Krylov 子空间进行训练加速，并在深度神经网络中的效果优于 SGD、共轭梯度下降和 L-BFGS 等算法，且优于 Hessian Free 方法。
PDF13 years ago