Oct, 2019

ZO-AdaMM：零阶自适应动量方法用于黑盒优化

PDF
TL;DR该研究提出了一种名为 ZO-AdaMM 的零阶梯度黑盒优化方法，它将 AdaMM 通用于无梯度形式的场景，并阐述了它的收敛率问题以及在非凸约束优化问题中的适用性，最终通过 ImageNet 数据的两个实验应用证明了 ZO-AdaMM 的高精确度和快速收敛能力。
adammzeroth-ordergradient-freeoptimizationconvergence rate
发现论文，激发创造
  • 零阶随机交替方向乘子法用于非凸非光滑优化

    本文提出了一种基于坐标平滑梯度估计器的快速零阶随机 ADMM 方法（即 ZO-SVRG-ADMM 和 ZO-SAGA-ADMM），用于解决具有多个非光滑惩罚的非凸问题，证明了这两种方法的收敛速率为 $O（1 / T）$，可以有效地解决许多复杂的机器学习问题。

    May, 2019

  • 零阶在线交替方向乘子法：收敛分析与应用

    本文提出了一种新的零阶在线算法，结合了梯度无需运算和 ADMM 可适应复杂的结构化正则化器的优点。通过两种小批量策略的使用后，该算法的收敛速度有了改善并在信号处理，统计学和机器学习中展示了应用。

    Oct, 2017

  • ZO-AdaMU 优化器：零阶优化中动量和不确定性的适应扰动

    MeZO 的模拟摄动随机逼近梯度估计导致严重震荡和时间开销，缺少动量正则化，而 ZO-AdaMU 通过在随机梯度近似中采用动量来解决这些问题，收敛性分析和实验表明这是改善 ZO-SGD 收敛稳定性和速率的更好方法。

    Dec, 2023

  • AdaZeta：自适应零阶张量列适应方法用于内存高效的大规模语言模型微调

    通过提出 Adaptive Zeroth-order Tensor-Train Adaption (AdaZeta) 框架，本文致力于改进 ZO 方法的性能和收敛性，主要关注的问题包括维度相关的 ZO 估计准确性、大规模 ZO 微调任务中的发散问题，通过详细的理论分析和实验结果论证了 AdaZeta 框架在准确性、内存效率和收敛速度方面的有效性。

    Jun, 2024

  • 利用无梯度优化和算子分裂方法设计黑盒对抗样本

    采用交替方向乘数法 (ADMM) 作为基础框架，结合零阶优化 (ZO) 和贝叶斯优化 (BO) 等技术，提出了两种新的黑匣子对抗攻击方法 ZO-ADMM 和 BO-ADMM，用于各种扭曲度量和反馈设置，相较于现有攻击方法，该方法能够以较低的查询复杂度取得更高的攻击成功率。在图像分类数据集上进行的实证研究证明了该方法的有效性。

    Jul, 2019

  • 基于 Hessian 感知的零阶优化黑盒对抗攻击

    本文提出了一个基于 Hessian 矩阵的零阶优化算法 ZO-HessAware，用于黑盒对抗攻击，该算法的实验证明在结构化 Hessian 逼近的情况下，具有更好的零阶收敛率和查询复杂度。

    Dec, 2018

  • 无损适应性：一种带有动量化、自适应、双平均随机梯度优化方法

    引入了 MADGRAD 优化方法，其表现优异，不仅适用于视觉领域中的分类和图像转换任务，还适用于自然语言处理中的循环和双向掩蔽模型。在每个任务中，MADGRAD 的测试结果均优于 SGD 和 ADAM，并且在自适应方法通常表现差的问题上也表现出色。

    Jan, 2021

  • 零阶 Oracle 学习到学习

    本文将 learning to learn（L2L）框架扩展到零阶（ZO）优化设置，其中没有明确的梯度信息，并将学习的优化器建模为循环神经网络（RNN），通过 ZO 梯度估算器近似梯度，并利用以前迭代的知识产生参数更新，进一步引入另一个 RNN 来学习高斯采样规则并动态指导查询方向采样。我们的学习优化器在合成和实际 ZO 优化任务中表现出优异的收敛率和最终解决方案，特别是在 Black-box Adversarial Attack 任务中。

    Oct, 2019

  • AdaSAM: 自适应学习率和动量的锐度感知最小化，用于深度神经网络训练

    此论文分析了 AdaSAM 在随机非凸环境下的收敛速度，证明了 AdaSAM 的收敛速度为 O（1/√（bT）），具有线性加速性质，随机梯度步骤与自适应学习率和扰动梯度分别分解分析，证明了自适应学习率具有有限的范围，为 SAM 和自适应学习率与动量加速提供了非平凡的收敛率，实验表明 AdaSAM 可以获得比 SGD，AMSGrad 和 SAM 优化器更好的性能。

    Mar, 2023

  • DeepZero：扩展零阶优化以提升深度模型训练

    DeepZero 是一个基于 Zeroth-order optimization 的深度学习框架，通过三个主要创新使得 ZO 优化可用于深度神经网络的训练，同时实现了与一阶优化相当的性能，其优点包括坐标梯度估计（CGE）在训练准确性和计算效率上的优势，以及利用模型剪枝方法扩展稀疏 DL 先验信息的 ZO 训练协议，并通过特征重用和前向并行化方法提高 ZO 训练的实际实施。

    Oct, 2023