convergence bounds | BriefGPT

关键词convergence bounds

搜索结果 - 13

ICML单回路（自然） Actor-Critic 与兼容的函数逼近的非渐近分析
该研究提供了 Actor-Critic（AC）算法和 Natural Actor-Critic（NAC）算法的最紧密的非渐近收敛界限，并使用兼容函数逼近进行收敛性分析。
PDFa month ago
深度学习计算马尔可夫链的收敛速率
我们提出了深度收敛漂移计算器（DCDC），这是第一个用于以 Wasserstein 距离界定马尔可夫链收敛性的通用样本算法。DCDC 包括两个部分，首先，我们引入了压缩漂移方程（CDE）的解，从而得到了明确的收敛界限；其次，我们开发了一种高
PDFa month ago
基于偏差梯度估计的分布式动量方法
通过对分布式动量法中的有偏梯度估计建立非渐近收敛界限，并且在元学习和压缩梯度等特殊情况下证明动量法在训练深度神经网络中比传统有偏梯度下降方法有更快的收敛性能。
PDF4 months ago
高概率收敛界限在重尾噪声下的非线性随机梯度下降
通过研究一类广泛的非线性随机梯度下降方法在高概率下的收敛界限，我们证明了对于具有 Lipschitz 连续梯度的强凸损失函数，即使在噪声具有重尾分布的情况下，也能实现失败概率的对数依赖性，这对于任何具有有界（逐分量或联合）输出的非线性性质（
PDF8 months ago
AirFL-Mem: 通过长期记忆改进通信 - 学习的权衡
提出了一种名为 AirFL-Mem 的新方案来缓解深衰落对过空中远程联邦学习的影响，并证明了它与理想通信条件下的联邦平均算法 (FedAvg) 具有相同的收敛速度，而现有方案的性能通常受到误差限制。实验结果验证了长期记忆机制在缓解深衰落方面
PDF8 months ago
通过随机定位改进扩散模型的线性收敛界限
扩散模型对于从高维数据分布中生成近似样本是一个强大的方法。我们提供了第一个以数据维度为线性（在对数因子之内）的收敛界限，只需假设数据分布具有有限的二阶矩。我们证明扩散模型仅需要最多 Δ 步骤，就能以 Kullback-Leibler 差异度
PDFa year ago
自然策略梯度算法的线性收敛性
本文研究了应用于马尔可夫决策过程中的自然策略梯度算法，在此基础上提出具有自适应步长的改进方法，并通过实验比较不同变种的策略梯度方法。
PDF3 years ago
MM基于合作式 D2D 本地模型聚合的半分散式联邦学习
本文提出一种称作 TT-HF 的半分散式学习结构，将常规的设备与服务器的通信范例与设备对设备的通信（D2D）结合起来，通过本地集群内的合作分布式 D2D 通信进行模型训练，利用新的渐进上界控制算法平衡步长、通信轮数和全局聚合周期来追求亚线性
PDF3 years ago
带有动量的 Polyak 步骤的复杂度保证
本文通过研究一种基于 Polyak 步骤的方法，使得在平滑强凸最优化问题中，即使没有强凸性参数知识，也可以获得简单的带加速收敛率的优化方法，并在此基础上给出了具有收敛保证的带 Polyak 步骤和动量的加速梯度方法。
PDF4 years ago
异步共享内存中随机梯度下降算法的收敛性
本文研究并发训练中 Stochastic Gradient Descent 算法的收敛性，提出了在异步共享内存模型下的新收敛界限，同时指出了最大延迟和算法收敛速度之间的基本权衡关系。
PDF6 years ago
非交互式联合分布模拟的可决定性
通过分析布尔函数的性质，本研究得出当一个分布是有限域上的分布且另一个是 $2×2$ 分布时，非交互模拟问题是可判定的，并且可以借助不变性原理和正则化引理来确定样本数的收敛边界。
PDF8 years ago
子采样牛顿法 I：全局收敛算法
本文论述了大规模优化问题中 Sub-sampling 的迭代算法，提供了 Hessian 和梯度子采样的收敛边界，使用随机数值线性代数来获得适当的采样策略，并为在大规模线性系统下近似更新的情况下的全局收敛结果提供了解决方案
PDF8 years ago
非渐进式 Langevin 算法的收敛分析
研究了一种基于欧拉离散化的采样方法来逼近正态化后的概率密度相对于勒贝格度量的目标分布，通过分析欧拉离散化中步长的变化，获得了总变异距离下的收敛界限，并着重介绍了该方法在高维情况下的应用及维度依赖性，扩展了 Dalalyan 2014 的结果
PDF9 years ago