learned optimizers | BriefGPT

关键词learned optimizers

搜索结果 - 12

$\mu$LO: 计算高效的元泛化学习优化器
通过使用最近提出的最大更新参数化理论 (Maximal Update Parametrization)，我们扩展了学习优化器的元训练问题，实现了从小型模型到大型模型的零 - shot 泛化 (optimizer hyperparameter
PDFa month ago
基于数据驱动的经典优化器和学习优化器的性能保证
介绍了一种数据驱动的方法，利用统计学习理论的泛化保证来分析连续优化算法的性能。研究经典优化器和学习优化器来解决参数优化问题的族群。建立了经典优化器的泛化保证，利用样本收敛界限，以及学习优化器的泛化保证，利用 Probably Approxi
PDF2 months ago
学习优化器的训练动态调查
深度学习中优化的关键问题是通过学习优化器来加速优化过程，但其稳定性、泛化性仍存在问题。本研究通过分析网络架构对优化轨迹和参数更新分布的影响，研究并对比手动设计和学习优化器的优缺点，提出了关键见解。
PDF7 months ago
我们能学习高效通信优化器吗？
通过学习优化器的方法，本研究证明了学习优化器在保持通信高效性的同时，能够明显优于本地 SGD 及其衍生变体，甚至在未见过的更大规模数据集、架构（如 ImageNet 和 ViTs）以及语言模型等方面具有推广性，从而展示了学习优化器改进通信高
PDF7 months ago
HUB: 通过连续提示调整指导学习优化器
为了解决学习优化器广泛采用上的一些问题，研究提出了一种混合更新的优化策略，结合了手动设计的优化器，它稳定了训练过程，提高了测试性能，经过 17 项任务验证证明了它的优越性。
PDFa year ago
强化学习优化的学习
本篇文章研究了一种数据驱动的元学习方法，使用此方法可以训练出一个能够优化强化学习的通用优化器，而且可以应用于复杂任务。这个优化器的结构大大提高了学习优化器的训练效率，并且已经证明其能够泛化到未知的复杂任务。
PDFa year ago
在学习优化器中，内存、计算和性能之间的实际权衡
本文主要研究了利用学习优化器代替手动设计的优化器来优化机器学习系统，重点探讨了如何平衡模型训练的内存、计算和性能三方面的权衡，并构建了一个更快捷、更高效的学习优化器。
PDF2 years ago
ICML学习优化器的简单守卫
本研究探讨了学习优化器是否能够超越手工优化器，并解决它们常常在分布范围之外波动不定的问题。作者提出了一种新型的优化算法，即 Loss-Guarded L2O (LGL2O)，它基于期望的损失值来决定使用哪种优化器，具有更简单的概念和更低的计
PDF2 years ago
ICML使用持续演化策略在展开计算图中进行无偏梯度估计
介绍了一种名为 PES 的方法，它使用持续进化策略更新参数，解决了在许多场景下出现的高方差梯度、偏差、慢速更新和大内存使用等问题，该方法将计算图分成一系列截断的展开，并在每个展开后执行一次进化策略更新步骤，通过在整个展开序列中累积修正项来消
PDF3 years ago
语言模型是否有信念？检测、更新和可视化模型信念的方法
探讨语言模型是否对世界有信念，介绍检测语言模型是否拥有信念、强化信念更新的方法，其中重点介绍基于学习优化器或超网络的方法，并提出了评估信念更新方法效果的新度量，提出了一种称为 SLAG 的训练目标，并引入了信念图，提供了一种新形式的接口呈现
PDF3 years ago
任务、稳定性、架构和计算：训练更有效的学习优化器，并使用它们来训练自己
本文讲述了利用神经网络参数化的层次优化器提供自动正则化的能力，从而可以训练多种问题的通用学习优化器，可适应超参数和架构的变化，且适用于自我训练等需要解决分布问题的任务。
PDF4 years ago
理解和校正学习优化器训练中的病态
通过对学习到的优化函数进行训练以执行特定任务，我们提出了一种训练方案，它可以比经过调整的一阶方法更快地训练卷积网络，并在测试损失上得到改进。
PDF6 years ago