ICLRApr, 2021

优化器融合：更优秀的局部性和并行性的高效训练

PDF
TL;DR本文提出将优化器与前向或后向计算融合，重新排序前向计算、梯度计算和参数更新，旨在更好地利用局部性和并行性，从而提高迭代优化器的效率。实验结果显示，这种方法可以在不改变优化器算法的情况下，实现多种配置的 20% 训练时间缩短。
machine learningneural networksoptimizerlocalityparallelism
发现论文，激发创造
  • 学习优化张量程序

    该论文介绍了一个基于深度学习工作负载的张量程序优化学习框架，其通过学习领域特定的统计成本模型来引导张量操作实现的搜索，进而加速搜索，实现性能与手动调整的图书馆竞争力相当。

    May, 2018

  • Omnivore: 一种用于在 CPU 和 GPU 上进行多设备深度学习的优化器

    该研究通过标准批处理和数据并行技术，在单个节点环境中将吞吐量提高至少 5.5 倍，并在多节点环境中研究了异步并行化对训练时间的影响，并提出了一种高效的超参数优化器，以选择资源分配方式以最小化收敛所需的总时间。

    Jun, 2016

  • OptEx：利用近似并行化迭代加速一阶优化

    我们提出了一种名为 OptEx 的方法，通过利用并行计算来提高 FOO 的效率，使用核化梯度估计来进行迭代预测，从而实现了迭代的并行化，并证明了核化梯度估计的可靠性和基于 SGD 的 OptEx 的迭代复杂度，同时通过大量实证研究验证了 OptEx 在合成函数、强化学习任务和神经网络训练等各种数据集上取得的实质性效率改进。

    Feb, 2024

  • 基于 Transformer 的学习优化

    本文提出了一种新的学习优化方法，其中采用神经网络表示优化器更新步骤的计算，优化器的参数通过训练一组优化任务来学习，以实现高效的最小化。创新之处在于，它是一种新型的神经网络架构，“Optimus”，对学习到的优化器进行了改进，启发自经典的 BFGS 算法。

    Dec, 2022

  • 我们能学习高效通信优化器吗？

    通过学习优化器的方法，本研究证明了学习优化器在保持通信高效性的同时，能够明显优于本地 SGD 及其衍生变体，甚至在未见过的更大规模数据集、架构（如 ImageNet 和 ViTs）以及语言模型等方面具有推广性，从而展示了学习优化器改进通信高效分布式学习的潜力。

    Dec, 2023

  • 任务、稳定性、架构和计算：训练更有效的学习优化器，并使用它们来训练自己

    本文讲述了利用神经网络参数化的层次优化器提供自动正则化的能力，从而可以训练多种问题的通用学习优化器，可适应超参数和架构的变化，且适用于自我训练等需要解决分布问题的任务。

    Sep, 2020

  • 学习优化器的一般化方法

    从泛化为先的角度设计了一种系统，使用新颖的特征、行动和奖励函数学习更新优化器超参数，从而优化神经网络的泛化性能。该系统在所有神经网络任务上优于 Adam，并在 ImageNet 上实现了 2 倍的加速，在使用比训练任务大 5 个数量级的计算资源的语言模型任务上实现了 2.5 倍的加速。

    Jun, 2021

  • 可扩展且泛化的学习优化器

    通过引入层次循环神经网络优化算法和基于元学习的小任务集，实现了一个新的学习梯度下降优化器，解决了在更大的问题上扩展能力不足和泛化能力受限问题，并在 ImageNet 数据集上通过数千步为 Inception V3 和 ResNet V2 架构进行了优化。

    Mar, 2017

  • 内存高效的自适应优化

    本文介绍了一种效率高、灵活性强、内存占用少的自适应优化方法，保留了每个参数的自适应性优势，同时允许使用更大的模型和批量大小，具有很好的收敛性和训练效果。

    Jan, 2019

  • CoRe 优化器：机器学习的一体化解决方案

    我們對 CoRe 優化器進行了廣泛的性能比較，並與其他九種優化算法進行了比較，包括 Adam 優化器和韌性反向傳播 (RPROP)，結果顯示 CoRe 優化器在各種機器學習任務中表現最佳或競爭力非凡，而只需根據小批量或批量學習改變一個超參數。

    Jul, 2023