May, 2023

基于量化优化的随机梯度朗维因子动力学

PDF
TL;DR本文基于量化优化提出一种替代的随机下降学习方程，采用随机分析方法，使用 Langevin SDE 动态实现可控噪声，无需添加噪声或调整 mini-batch 大小，在各种数据集上证明了该算法的有效性，同时提供了所提算法的简单 PyTorch 实现。
stochastic learning dynamicssde-based learningquantized optimizationconvolution neural networkresnet-50 architecture
发现论文，激发创造
  • 神经随机微分方程：用随机噪声稳定神经常微分方程网络

    本研究介绍了一种新型连续神经网络框架 Neural SDE，该框架自然地融合了基于随机噪声注入的各种常用正则化机制，可用于输入干扰和非对抗性扰动的鲁棒建模，并可实现更好的泛化性能和对抗性强化训练。

    Jun, 2019

  • 低精度随机梯度 Langevin 动力学

    本文研究了低精度随机梯度 Langevin 动力学（SGLD）和其量化方法在深度学习中的应用，发现低精度梯度累积器通过新开发的量化函数可以实现较少的成本和可比的性能。

    Jun, 2022

  • 神经网络的自然 Langevin 动力学

    在机器学习中，使用贝叶斯后验概率分布作为模型参数可以避免过度拟合，Stochastic gradient Langevin dynamics (SGLD) 是一种近似贝叶斯后验概率分布的算法，使用易于计算的 Fisher 矩阵近似，使用 Fisher 矩阵预处理可以用于大型神经网络中，并将 SGLD 与 dropout 类似的正则化技术相结合以减少过拟合。

    Dec, 2017

  • 随机梯度和朗之万过程

    我们研究了 Langevin 过程和随机微分方程，证明了它们收敛于相关稳定分布的数量化收敛速度，应用于非凸问题的随机梯度下降算法的收敛性分析和实验.

    Jul, 2019

  • 如何从三分钟数据中学习和泛化：物理约束和不确定性感知的神经随机微分方程

    本文提出了一种使用神经随机微分方程学习控制动力学模型的框架和算法，能够构建模型预测控制算法以及模型基的增强学习领域中的仿真器，在模拟机器人系统中得到良好的应用。

    Jun, 2023

  • 神经随机微分方程作为无限维生成对抗网络

    本文介绍了一种将传统经典方法与神经随机微分方程（SDEs）相结合的方法，作为连续生成时间序列模型，无需预设统计或密度功能即可适应任意漂移和扩散，其输入噪声为布朗运动，输出样本是由数值求解器产生的，可用于机器学习中的时间序列建模。

    Feb, 2021

  • 随机梯度朗逊动力学的非凸学习：非渐近分析

    使用加权运输成本不等式来量化 SGLD 在欧几里得 2 - 瓦瑟斯坦距离下收敛到随机分布的速率，并在非凸学习问题的背景下提供有限时间保证来找到两种风险的近似最小化器。

    Feb, 2017

  • 最小二乘随机梯度下降的随机微分方程模型

    我们研究了最小二乘问题的连续时间随机梯度下降（SGD）模型的动力学。我们通过分析随机微分方程 (SDE)，在训练损失（有限样本）或总体损失（在线设置）的情况下建模 SGD 来追求 Li 等人 (2019) 的研究成果。该动力学的一个关键特征是无论样本大小如何，都存在与数据完美插值器。在这两种情况下，我们提供了收敛到（可能退化的）稳态分布的精确非渐近速率。此外，我们描述了渐近分布，给出了其均值、与之偏差的估计，并证明了与步长大小有关的重尾现象的出现。我们还呈现了支持我们发现的数值模拟结果。

    Jul, 2024

  • 实际中的可扩展自然梯度 Langevin 动力学

    本文比较了不同的预处理方法以规范噪声向量，从混合时间、正则化效果、协变量漂移检测和对抗样本抗干扰性等方面对其进行了评估。

    Jun, 2018

  • 数学金融中随机微分方程的量子加速多级蒙特卡罗方法

    本文研究了随机微分方程的量子算法，提出了可用于计算在金融数学中的实际应用，并展示了其在 Black-Scholes 和 Local Volatility 模型等各种应用中的作用。

    Dec, 2020