Jun, 2024
H-Fac: 记忆高效优化与分解哈密顿下降
H-Fac: Memory-Efficient Optimization with Factorized Hamiltonian Descent
TL;DR本研究提出了一种新的自适应优化器H-Fac，该优化器采用了动量和缩放参数的分解方法。通过使用秩1参数化的矩估计器，我们的算法在ResNets和Vision Transformers上展现出竞争性能，并且通过达到亚线性内存成本。我们的算法基于哈密顿动力学导出的原理进行开发，具有坚实的理论基础。这些优化算法旨在简单且适应性强，便于在各种环境中轻松实施。