Oct, 2023

自动微分跨条件分支的平滑方法

PDF
TL;DR控制流结构中引入的不连续性对于假设目标函数响应曲面具有一定平滑性的数学优化方法构成挑战。在此论文中，我们将平滑解释（SI）与自动微分（AD）相结合，以高效计算平滑程序的梯度。SI 与 AD 的结合使得参数综合可以直接基于梯度进行分支程序，例如校准模拟模型或将其与神经网络模型结合在机器学习流程中。我们详细说明了 SI 中为确保可行性所做的近似效果，并提出了一种新的蒙特卡罗估计器，通过 AD 和抽样的组合来估计平滑程序的梯度，从而避免了潜在的假设。通过使用我们的工具 DiscoGrad 将简单的 C++ 程序自动转换为平滑可微形式，我们进行了广泛的评估。我们将 SI 与 AD 的组合以及我们的蒙特卡罗估计器与现有的无梯度和随机方法在四个非平凡的问题上进行比较，这些问题从经典的基于模拟的优化到神经网络驱动的控制。虽然 SI 估计器的优化进展取决于程序控制流的复杂性，但我们的蒙特卡罗估计器在所有问题中都具有竞争力，在最高维问题中具有明显最快的收敛速度。
发现论文，激发创造
  • 机器学习中的自动微分数学模型

    本文介绍了自动求导实现与非平滑函数导数求解之间的关系，提出了一种非平滑微积分方程，并阐明其在随机逼近方法中的应用，同时证明了算法求解导数可能产生的人工临界点问题，并演示了通常方法如何以概率为一避免这些点。

    Jun, 2020

  • 非光滑隐式微分：确定性和随机收敛速率

    我们研究了参数化不可微收缩映射的不动点导数的高效计算问题，这个问题在机器学习中有广泛应用，包括超参数优化、元学习和数据污染攻击。我们分析了两种常见方法：迭代微分（ITD）和近似隐式微分（AID）。在非光滑环境下的一个关键挑战是链式法则不再成立。在 Bolte 等人（2022 年）最近的工作基础上，他们证明了非可微 ITD 的线性收敛性，我们提供了对确定性情况下 ITD 和 AID 的改进线性收敛率。当不动点被定义为外部映射和仅能通过随机无偏估计器访问的内部映射的复合时，我们进一步介绍了一种名为 NSID 的新方法来计算隐式导数。我们建立了 NSID 到真导数的收敛速度，包括在光滑环境中的最佳速度。我们进行了说明性实验证实了我们的分析结果。

    Mar, 2024

  • 非光滑自动微分的复杂度

    本文提出了一种用保守梯度模型来估计算法分化的计算成本的方法，并且较为详细地描述了其在反向传播和前向传播中的应用。主要方法是基于局部 Lipschitz 半代数或可定义基本函数的方法，可以极大地加速了反向传播过程。

    Jun, 2022

  • 对角化 SGD：通过参数重设和平滑实现快速与收敛的非可微模型 SGD

    介绍了一种针对非可微模型的新型随机梯度下降（SGD）方法，利用渐进平滑逼近方法提高了渐进平滑逼近的精度，并证明了收敛到原始目标的固定点，在实验中表现出了简单、快速、稳定的特点，并实现了工作归一化方差的数量级降低。

    Feb, 2024

  • 符号梯度下降的几何学

    本文介绍了基于符号的优化方法在分布式优化中有良好的通信成本和在神经网络训练中具有出色的性能。同时探讨了分离平滑性与∞- 平滑性之间的联系，指出后者是更弱和更自然的假设。研究表明，在深度网络中，如果 Hession 矩阵在对角线方向上集中，并且其最大特征值远大于平均特征值，则符号法比梯度下降更优。

    Feb, 2020

  • 用于离散决策众包模型校准的自动梯度估计

    该研究探讨了用于模拟交通疏散的基于力的模型的校准问题，研究了梯度下降和元启发式方法，在分析中发现梯度估计的精度受到模型特性和参数分布的影响。

    Apr, 2024

  • 随机变分推断的平滑梯度

    本文介绍了一种改进的随机变分推断方法，其中使用移动平均方法构建代替自然梯度的向量，得到了更高的计算计算效率和更小的误差。测试表明该方法在大规模数据上表现良好。

    Jun, 2014

  • 非凸惩罚稀疏量化回归的平滑 ADMM 算法

    研究了非凸非光滑稀疏惩罚条件下的分位数回归，介绍了交替方向乘法器方法中的新型单循环平滑 ADMM 算法，称为 SIAD 算法，可加快收敛速度并提供稀疏惩罚分位数回归的更快、更稳定的解。

    Sep, 2023

  • 方向平滑性和梯度方法：收敛性和适应性

    我们开发了一种梯度下降法的新次优性边界，该边界依赖于优化路径中的目标条件，而不是全局最坏情况下的常数。我们的证明关键在于方向平滑性，这是一种梯度变化的度量，我们用它来开发上界约束。通过求解隐式方程来最小化这些上界约束，我们展示了这些方程对于凸二次函数是容易解决的，并为两种传统步长提供了新的保证。对于一般函数，我们证明了 Polyak 步长和归一化梯度下降法尽管不使用方向平滑性的任何知识，但能够获得快速的路径相关性。逻辑回归上的实验证明，我们的收敛保证比基于 L 平滑性的传统理论更紧致。

    Mar, 2024

  • 非参数自动微分变分推断与样条逼近

    我们提出了一种基于样条的非参数逼近方法，可以灵活逼近具有复杂结构的后验分布，如偏度、多峰性和有界支持。通过采用样条逼近，我们得到了重要性加权自编码器的下界，并建立了渐近一致性。实验证明了该方法在逼近复杂的后验分布和提高具有不完整数据的生成模型性能方面的高效性。

    Mar, 2024