Jun, 2024

大规模双层优化的内存高效梯度展开

PDF
TL;DR本文介绍了 $(ext {FG})^2 ext {U}$，一种解决大规模双层优化问题的新方法，该方法通过无偏随机近似元梯度来提供更准确的梯度估计，并且支持并行计算以提高计算效率。$(ext {FG})^2 ext {U}$ 在不同阶段的训练过程中可以更加经济高效地应用，且易于在流行的深度学习框架中实现，可适应更具挑战性的零阶双层优化场景。经过全面的理论分析和实证评价，并展示了在多样的大规模双层优化任务中其卓越的性能。
发现论文，激发创造
  • 随机展开联合学习

    介绍了 Stochastic UnRolled Federated learning（SURF），它是一种将算法展开（algorithm unrolling）应用于联邦学习的方法，通过在图神经网络（graph neural network）中展开分布式梯度下降（distributed gradient descent，DGD）算法以实现协作训练的目的。在理论上证明了此方法的优化器收敛于一个接近最优的区域。通过大量实验在图像分类器的协作训练中展示了该框架的有效性。

    May, 2023

  • 基于梯度的双层优化在深度学习中的应用

    本篇综述论文研究了基于梯度的双层优化方法在深度学习中的应用和发展，通过探讨单任务和多任务优化问题的双层公式和四种优化器的应用，展示其在优化超参数和提取元知识方面的实用性和高效性，最后指出其广阔的科学问题应用前景。

    Jul, 2022

  • 端到端基于模型学习的折叠优化

    该论文提供了对展开优化器反向传播的理论洞见，从而得到了一个系统，用于生成等效但可有效求解的分析模型，并提出了一种统一的展开和分析微分的方法。实验表明，该方法在各种结构预测和决策导向的学习任务中具有潜在的计算和增强表现能力。

    Jan, 2023

  • PDHG-Unrolled 学习优化方法用于大规模线性规划

    通过提出一种名为 PDHG-Net 的 FOM 展开神经网络并结合学习优化的方法，以及两阶段的 L2O 方法，我们在解决大规模 LP 问题方面取得了显著加速并获得多项式级神经元数的近似最优解。

    Jun, 2024

  • 逆问题的算法展开模型的统计学视角

    在已知条件分布的情况下，通过算法展开设计深度神经网络架构，分析了梯度下降网络（GDN）的统计复杂性、最佳深度和过拟合问题。

    Nov, 2023

  • 分析与增强展开优化的反向传播收敛性

    通过算法展开的反向传播与通过迭代方法求解线性系统的解是渐进等价的，在构建更高效的反向传播规则方面提出了折叠优化系统。

    Dec, 2023

  • 使用持续演化策略在展开计算图中进行无偏梯度估计

    介绍了一种名为 PES 的方法，它使用持续进化策略更新参数，解决了在许多场景下出现的高方差梯度、偏差、慢速更新和大内存使用等问题，该方法将计算图分成一系列截断的展开，并在每个展开后执行一次进化策略更新步骤，通过在整个展开序列中累积修正项来消除这些截断的偏差。在合成任务上，实验结果表明 PES 相对于几种其他梯度估计方法具有更好的表现，且仍适用于训练学习优化器和调整超参数。

    Dec, 2021

  • 可扩展的深度学习嵌套优化

    梯度下降优化在机器学习的成功中起到了关键作用，本研究论文聚焦于嵌套优化问题，特别是超参数优化和生成对抗网络；然而，在大规模求解嵌套问题时，经典方法往往表现不佳，因此我们针对深度学习环境构建了可扩展的嵌套优化工具。

    Jul, 2024

  • 深度学习可扩展的二阶优化

    本文尝试缩小理论优化与实际优化之间的差距，提出了一种可扩展的二阶预处理方法来优化深度模型，利用异构硬件架构进行训练，相比于常规一阶方法在机器翻译、语言建模、点击率预测和图像分类等任务中表现出优异的性能。

    Feb, 2020

  • ScaleBiO: 面向 LLM 数据重新加权的可扩展的双层优化

    本研究提出了第一种可扩展实例，称为 ScaleBiO，通过与一种称为 LISA 的新型算法相结合，使软件在八个 A40 GPU 上扩展到 34 亿参数的大型语言模型（LLM），标志着在实际应用场景中首次成功应用双层优化于大型 LLM。从实证上来说，对于不同规模的模型，包括 GPT-2，LLaMA-3-8B，GPT-NeoX-20B 和 Yi-34B，通过数据重加权广泛实验验证了 ScaleBiO 的有效性，其中双层优化成功地过滤了无关的数据样本，并选择了信息量较大的样本。从理论上来说，ScaleBiO 确保了学习到的数据权重的最优性，并具有匹配传统的一阶平滑凸优化双层优化范式的收敛保证。

    Jun, 2024