convergence rates | BriefGPT

关键词convergence rates

搜索结果 - 189

运算符世界模型用于强化学习
通过使用条件均值嵌入学习环境的世界模型，并利用 RL 的操作性表达式进行矩阵运算，结合 Policy Mirror Descent（PMD）估计量，我们提出了一个新的 RL 算法 POWR，证明了其收敛速度达到全局最优。实验结果表明我们的方
PDF4 days ago
基于修正偏置动量的加速随机极小 - 极大优化
针对非凸优化中最小最大优化问题，本研究提出了利用高效的 Hessian - 向量乘积的新型修正动量算法，建立了收敛条件并证明了所提算法的迭代复杂度为 O (ε^{-3})。通过在实际数据集上进行鲁棒的逻辑回归的应用验证了该方法的有效性。
PDF14 days ago
Chung 引理的广义版本及其应用
发展了一个泛化版本的 Chung 引理，用于建立非渐进收敛速度的收敛框架，适用于更一般的步长规则，并为各种随机方法提供了紧致的非渐进收敛速度。
PDF23 days ago
自适应梯度方法在细化平滑度和噪声假设下的收敛分析
分析了 AdaGrad 在随机非凸优化中收敛速率，证明了存在优于 SGD 的收敛速度，并给出了收敛速率的上界和下界。
PDF25 days ago
用 Per-core Clipping 高效训练能记忆较少且性能更好的 ASR 模型
渐变剪切在训练大规模自动语音识别（ASR）模型中起着至关重要的作用。本研究系统地调查了一种特定细粒度的渐变剪切方法，即每个核心剪切（PCC），对于训练各种 ASR 模型的影响。我们经验证明，PCC 可以有效地减轻 ASR 模型中的非预期记忆
PDFa month ago
时变网络中的去中心化优化与任意延迟
我们提出了一种称为 DT-GO 的新颖基于八卦的算法，它在不需要了解节点出度的情况下适用于一般的有向网络，对于拥有延迟或有限确认能力的网络。我们推导了凸和非凸目标的收敛速率，并证明我们的算法实现了与集中式随机梯度下降相同的复杂度顺序，也就是
PDFa month ago
基于流数据的工具变量回归的随机优化算法
通过将问题视为条件随机优化问题，我们开发并分析了工具变量回归算法。在最小二乘工具变量回归的背景下，我们的算法既不需要矩阵求逆也不需要小批量处理，并为使用流数据进行工具变量回归提供了完全的在线方法。当真实模型是线性的时，对于任意的正数 iot
PDFa month ago
MM使用模型指数移动平均的 Adam 算法在非凸优化中的效果
理论分析表明，在各种非凸优化设置中，带有模型指数移动平均（EMA）的 Adam 算法的剪切版本能够实现最佳收敛速度，尤其当坐标间尺度差异显著时，Adam 算法的坐标自适应性具有明显优势。
PDFa month ago
混合线性回归中 EM 迭代的摆线轨迹揭示
我们研究了两组分混合线性回归 (2MLR) 的期望最大化 (EM) 算法的迭代轨迹和收敛速度。通过使用贝塞尔函数，我们提供了 EM 在所有信噪比情况下的明确闭式表达式，并在无噪音的情况下通过导出一个循环关系完全刻画了 EM 迭代的行为，从而
PDFa month ago
随机梯度方法在梯度主导条件下的几乎必然收敛速率
基于全局和局部梯度支配的随机梯度下降法收敛速度证明及其在监督学习和强化学习中的应用。
PDFa month ago
关于时间变化凸函数的二阶梯度下降的稳定性
该研究探讨了基于梯度的优化算法在机器学习应用中的收敛速度、遗憾界限等指标以及其与稳定性保证之间的关系，并提供了更为通用的稳定性保证，以促进实时学习应用的安全可靠部署。
PDFa month ago
混合专家模型中，Sigmoid 门控比 Softmax 门控的样本效率更高
通过理论验证，本文发现 sigmoid 门函数对于专家估计统计任务的样本效率比 softmax 门函数更高，而且在两个不同的门控制度下使用前馈网络作为专家模型的收敛速度更快。
PDFa month ago
交替方向 SGHMC 算法的收敛性分析
我们研究了具有跳跃点积分的 Hamiltonian Monte Carlo 算法在目标分布的随机梯度神谕上的收敛速率。我们的方法通过 Alternating Directions 的新颖步骤，扩展了标准 HMC 算法的使用范围，使其能够使用
PDFa month ago
随机广义 Stiefel 流形上的无回退优化
我们提出了一种便宜的随机迭代方法，解决了通过对可行解的随机估计来优化在广义斯蒂弗尔流形上的问题。该方法具有较低的每次迭代成本，只需要进行矩阵乘法，并且具有与完整矩阵 B 相关的 Riemannian 方法相同的收敛速度。实验证明了其在包括
PDF2 months ago
用于生成学习的潜在 Schr {ö} dinger 桥扩散模型
通过在潜空间中利用 Schr {"o} dinger bridge 扩散模型构建新的生成学习方法，本文对当前扩散模型进行了全面的理论分析，包括利用预训练的编码器 - 解码器架构和 Schr {"o} dinger bridge 框架开发了潜
PDF2 months ago
半监督 Fréchet 回归
本文探讨半监督的 Fréchet 回归领域，提出了两种基于图距离的半监督 NW Fréchet 回归和半监督 kNN Fréchet 回归方法，扩展了现有的半监督欧几里得回归方法的范围，并确定了它们在有限有标签数据和大量无标签数据的情况下的
PDF3 months ago
基于插值的随机加速梯度下降算法的快速收敛
我们在插值条件下证明了随机 Nesterov 加速的新的收敛速度。不同于以往的分析，我们的方法可以加速任何在期望中取得足够进展的随机梯度方法。证明使用估计序列框架进行，适用于凸函数和强凸函数，并且可以轻松推广到满足强生长条件的加速 SGD。
PDF3 months ago
关于卷积神经网络学习收敛速度的研究
卷积神经网络的近似和学习能力的研究，证明了满足权重约束的卷积神经网络的新逼近界限，并给出了覆盖神经网络的新分析，从而得到了更好的收敛界限，并利用这两个结果在许多学习问题中推导了基于卷积神经网络的估计器的收敛速度，对于学习平滑函数的非参数回归
PDF3 months ago
Adam 在非均匀平滑性条件下的收敛性：从 SGDM 到更进一步的分离性
本文旨在清楚地区分随机梯度下降法和带动量的 Adam 算法在收敛速度方面的差异。我们证明了在非均匀有界平滑性条件下，Adam 算法相对于随机梯度下降法具有更快的收敛速度。我们的发现表明：（1）在确定性环境中，Adam 算法可以达到确定性一阶
PDF3 months ago
耗散梯度递降上升法：一种受控制理论启发的极小极大优化算法
梯度下降和上升（GDA）法用于最小 - 最大优化问题时，通常会产生振荡行为，容易导致不稳定性，为解决这一问题，本文提出了一种通过引入耗散项来抑制振荡的方法，称为 Dissipative GDA (DGDA)，DGDA 方法可以看作是在一个状
PDF4 months ago