second-order algorithm | BriefGPT

关键词second-order algorithm

搜索结果 - 4

AdaFish：利用二阶信息进行快速低秩参数高效微调
介绍了一种高效的 AdaFish 算法，用于加快在低秩分解为基础的微调框架中的训练过程，该算法证明了全局收敛性和迭代 / 预言机复杂性，并通过数值实验与 AdamW 方法进行了竞争性比较。
PDF4 months ago
LocalNewton: 减少分布式学习中通信瓶颈
提出一种名为 LocalNewton 的分布式二阶算法，使用本地平均法，通过使用本地存储的数据和模型，让工作机器每个迭代更新其模型并在许多本地迭代后将模型传输给主节点。使用新颖的基于矩阵聚焦的技术，提出自适应方案选择本地迭代次数 L，使用实
PDF3 years ago
NIPS基于随机信赖域优化的快速黑盒变分推断
TrustVI 是一种基于信任域优化和重新参数化技巧的快速二阶算法，用于黑盒变分推断。它在每次迭代中提出并评估基于变分分布抽取的小批量的步骤。该算法具有收敛到稳定点的可证明性。
PDF7 years ago
ICML具有 $\tilde {O}(\sqrt {T})$ 遗憾的高效在线贪心多分类学习
我们提出了一种高效的二阶算法，用于处理带依赖的多分类问题，同时考虑了由 ETA 参数化的一系列损失函数与竞争者的范式限制。算法能够同时处理从铰链损失 (ETA=0) 到平方铰链损失 (ETA=1) 的这一系列损失函数，这解决了 Aberne
PDF7 years ago