large-scale machine learning | BriefGPT

关键词large-scale machine learning

搜索结果 - 11

深度神经网络训练的精确 Gauss-Newton 优化
我们介绍了 EGN，一种随机二阶优化算法，将广义高斯 - 牛顿（GN）Hessian 近似与低秩线性代数相结合，计算下降方向。借助 Duncan-Guttman 矩阵恒等式，通过分解一个与小批次大小相同的矩阵来获得参数更新，这在维度远超批次
PDFa month ago
随机 ADMM 及其变体的一般连续时间公式
广义随机 ADMM 是一种统一的算法框架，通过对随机 ADMM 及其变种进行连续时间分析，证明在适当缩放下，随机 ADMM 的轨迹弱收敛到带有小噪声的随机微分方程的解，同时提供了为什么松弛参数应选择在 0 到 2 之间的理论解释。
PDF2 months ago
机器引导下探索现实世界的孤立波模型
通过因果分析、深度学习、遵循简约原则的模型选择和符号回归，本文通过一个案例研究展示了利用数据发现海洋罕见巨浪的新符号模型。该模型基于大量浮标观测数据上训练的人工神经网络，同时兼顾预测性能和因果不变性。我们将这个黑盒模型应用于符号回归，转化为
PDF7 months ago
大规模预训练的极限探索
通过调整数据规模、模型大小和训练时间，提高预训练的准确性可以有利于大多数下游任务的表现，但是当上游准确度提高时，下游任务的表现会饱和，并且与上游和下游任务的性能呈非线性关系，因此需要对下游性能建立一个模型以反映这种饱和现象。
PDF3 years ago
使用对称分裂扩展汉密尔顿蒙特卡洛推断在贝叶斯神经网络中的规模
本文研究了 Hamiltonian Monte Carlo 算法在大数据情况下应用的问题，提出了不依赖随机梯度的新对称积分方案，实现了全数据集的 HMC，并与随机梯度 MCMC 进行了比较。结果表明，该方法在准确性和不确定性量化方面均优于
PDF4 years ago
局部更新 SGD 中的最佳错误 - 运行时间平衡的自适应通信策略
本文介绍 AdaComm，一种自适应通信策略，可以更快地训练深度神经网络，使大规模机器学习训练更 robust 且具有更快的收敛速度。
PDF6 years ago
带洗牌的分布式随机梯度下降算法的收敛性分析
本文研究了在大规模机器学习中使用随机梯度下降的数据处理方法，特别是在数据划分和洗牌上的方法，以及不同洗牌方法下的全局和局部的收敛性和收敛速率，为大规模机器学习中的数据处理方法提供了重要的理论性结果和实验验证。
PDF7 years ago
大规模机器学习优化方法
本文讨论了数值优化算法在机器学习应用中的过去、现在和未来。通过文本分类和深度神经网络训练的案例研究，探讨优化问题在机器学习中的出现和挑战，强调了大规模机器学习环境下随机梯度方法的重要性和传统梯度优化方法的局限性。基于这种视角，提出一种简单，
PDF8 years ago
水平可扩展次模最大化
该篇论文提出了一种针对固定容量的分布式子模型最大化的框架，应用于广泛的算法和约束条件，并且为任何可用容量提供近似因子的理论保证，并在多个数据集上进行了实证评估，表现竞争性与中心化贪婪算法相当。
PDF8 years ago
大规模贝叶斯抽样的协方差控制自适应 Langevin 恒温器
本文提出了一种基于 Langevin 恒温器的自适应协方差控制算法，通过有效地耗散依赖于参数的噪声来维持目标分布，从而实现在机器学习应用中相对于其他方案的大幅加速。
PDF9 years ago
LightLDA: 在中小型计算集群上进行大规模主题建模
通过使用 O（1）MH 采样算法，结构性并行模型方案和有界异步数据并行方案，本文展示了只需要 8 台机器即可在网页级语料库上训练具有 1 亿个主题和 100 万个单词的主题模型（共计 1 万亿个参数），这是目前尚未用数千台机器实现的规模，并
PDF10 years ago