convergence rate | BriefGPT

关键词convergence rate

搜索结果 - 365

VALID：一种用于具有可能对抗性存在的分散网络中学习的验证算法
我们引入了验证型分散学习的范式，用于具有异构数据和可能受到对抗渗透的无向网络。我们的 VALID 协议首次实现了验证学习保证，并在非对抗环境中保持最佳性能指标。
PDF2 months ago
可证明的一步生成的特征学习
我们提出了一种特征生成器，这是一种新颖的单步生成模型，它将生成对抗网络（GANs）中的采样效率与流模型的稳定性相结合。我们的模型驱动着特征，沿着这些特征，可以通过常微分方程（ODEs）来描述概率密度传输。具体而言，我们通过非参数回归估计速度
PDF2 months ago
快速随机策略梯度：负动量用于强化学习
从利用动量的角度开发了一种称为 SPG-NM 的快速 SPG 算法，将一种新型的负动量技术应用于经典的 SPG 算法，其计算复杂度与现代 SPG 类型算法几乎相同，并在两个经典任务中评估了该算法的结果，数值实验在不同设置下对我们的 SPG-
PDF2 months ago
IJCAIPrivSGP-VR：差分隐私的方差减小随机梯度推送与紧致效用界
提出一种差分隐私的分布式学习方法 (PrivSGP-VR)，利用随机梯度推进和方差缩减，保证每个节点的 (ε, δ)- 差分隐私，并在分布式设置中获得了亚线性收敛率，并实现与节点数成线性加速的效果。通过使用矩阵法进行优化，获得了最优化的迭代
PDF2 months ago
面向鲁棒车辆目标检测的异构数据处理的联邦学习
在无人驾驶的精确感知模型的改进中，持续在线模型训练变得至关重要。联邦学习 (FL) 在车载网络中为模型训练提供了高效的机制，同时保持了原始感知数据的完整性。然而，FL 面临非分布相同的数据 (例如，数量偏斜) 问题，导致模型训练的收敛速度不
PDF2 months ago
二阶信息增强方差减少梯度中的小批量鲁棒性
对有限和最小化问题，我们展示了在目标函数中引入部分二阶信息可以显著提高方差减小的随机梯度方法对小批量大小的稳健性，从而使其在保留传统牛顿类型方法的优势的同时更具可伸缩性。
PDF2 months ago
新的随机梯度下降的对数步长
本文提出了一种利用新的对数步长的随机梯度下降（SGD）方法的新型热重启技术，对于平滑和非凸函数，我们建立了 SGD 的 O（1/√T）收敛速度。我们对 FashionMinst，CIFAR10 和 CIFAR100 数据集进行了全面的实现，
PDF3 months ago
DASA：延迟自适应多智能体随机逼近
我们提出了一种延迟自适应的算法 exttt {DASA}，在多智能体随机逼近中实现了收敛速度的 $N$ 倍加速，同时仅依赖于混合时间 $ mix$ 和平均延迟 $ au_{avg}$，这一结果领先于现有研究。
PDF3 months ago
迭代神经网络中的不确定性估计
将逐级网络架构转化为迭代网络架构是性能提升的众所周知方法，本文提出这样的网络架构不仅具有性能提升的好处，而且其输出的收敛速率与收敛值的精确度密切相关，因此我们可以将收敛速率作为一种有用的不确定性代理方法，通过这种方法可以以比集成技术更低的计
PDF3 months ago
基于联合投票的 SignSGD
分布式学习中的通信延迟问题和异构的小批量大小对收敛速度的影响，通过引入权重学习及加权多数投票的 signSGD-FV 算法进行优化，该算法具有理论上的收敛保证并在异构小批量大小下表现出更快的收敛速度。
PDF3 months ago
核多重网格：通过稀疏高斯过程回归加速反向拟合
通过利用核包技术（KP），我们证明了后向拟合的收敛速度不会比（1-1/n）^t 更快，其中 n 和 t 分别表示数据大小和迭代次数。因此，后向拟合需要至少 O (n*logn) 次迭代才能达到收敛。在 KP 的基础上，我们进一步提出了一种称
PDF4 months ago
基于特征统计的长尾和非独立同分布数据的解耦联邦学习
本文探讨了尾部类别在几个客户端上稀疏分布的被忽视的情景，提出了一个基于功能统计的两阶段解耦合联邦学习框架（DFL-FS），用于加速收敛并提高特征学习能力，实验结果表明该方法在准确率和收敛速度上优于现有方法。
PDF4 months ago
自适应联邦学习在空中的应用
通过无线信道特性的迭加性以及动态调整的全局梯度更新步长，我们提出了一种适用于无线环境下的模型训练框架中 AdaGrad 和 Adam 的联邦版本。通过推导包含信道衰落和干扰影响的广泛非凸损失函数训练算法的收敛速率，我们得出了使用 AdaGr
PDF4 months ago
水平集传送：优化视角
通过最大化目标函数水平集上的梯度范数，我们研究了一种叫做级别集传送的优化子程序，该程序旨在加速梯度方法。我们证明了当优化间隙很小时，级别集传送的梯度下降法具有比标准梯度下降法更快的子线性 / 线性收敛速率，但在凸函数满足 Hessian 稳
PDF4 months ago
用于凸优化的 Shuffling Momentum Gradient 算法
本文通过对分类的动量渐变法的分析，对有限和强凸优化问题进行了研究，并取得了与现有文献中最好成绩相匹配的结果。
PDF4 months ago
去除平方根：AdaGrad 的新高效的尺度不变版本
本研究介绍了一种名为 KATE 的新型优化算法，它是 AdaGrad 算法的一个尺度不变适应版本。我们通过证明其在广义线性模型中具有尺度不变性，并利用数值实验比较 KATE 与 Adam 和 AdaGrad 算法在不同问题上的性能，包括图像
PDF4 months ago
使用 Polyak 动量的非凸随机复合优化
该论文研究了在采用小型或有界批量大小时，在非凸设置中具有重要意义的随机近端梯度法，证明了该方法在非凸复合优化问题中达到最优的收敛速度，并且严格分析了 Polyak 动量在复合优化设置中的方差缩减效应，同时证明了在近似解决近端步骤的情况下，该
PDF4 months ago
通过重要性采样在自然策略梯度中重新使用历史轨迹：收敛性和收敛速率
本文研究了一种重用历史轨迹的自然策略梯度方法变体，并证明了所提梯度估计器的偏差在渐近上是可以忽略的，算法收敛且重用过去的轨迹有助于提高收敛速度。我们进一步将所提估计器应用于流行的策略优化算法，如信任区域策略优化，并在经典基准测试上验证了我们
PDF4 months ago
逻辑损失的大步梯度下降：损失的非单调性提高了优化效率
使用常数步长的梯度下降算法应用于线性可分数据的逻辑回归，证明了在初始震荡阶段后，算法能够在 a 步的时间内实现 O (1/(aT)) 的收敛速率，从而在总步数为 T 的情况下，通过积极地调整步长可以达到 O (1/T^2) 的加速损失，无需
PDF4 months ago
重新审视在放宽假设下的 AdaGrad 收敛性
重新审视 AdaGrad 与动量的收敛性，研究非凸光滑优化问题中的噪声模型，分析概率收敛速度及广义平滑性
PDF5 months ago