convex problems | BriefGPT - AI 论文速递

关键词convex problems

搜索结果 - 7

时间表之外的道路
不依赖于优化停止步骤 T 的现有学习率调度比依赖 T 的学习率调度性能更好。我们提出了一种完全避免使用调度的方法，同时在从凸问题到大规模深度学习问题的广泛问题范围内展示了与调度相比的最先进性能。我们的无调度方法与带有动量的标准优化器没有额外
PDFa month ago
捋清杂乱：变分惩罚目标的次梯度跟踪
描述了一种计算具有变分惩罚的凸问题最优解的新型次梯度跟踪装置，通过特殊算法实现纳入已知算法的融合拉索和同调回归，促进群稀疏性的多元问题，以及利用任意卷积滤波器输出来定义变分惩罚的基于晶格的次梯度跟踪。
PDF2 months ago
自适应近端梯度方法的普适性无需近似
通过分析，我们展示了对于凸问题，自适应的近端梯度方法不受传统的 Lipschitzian 假设的限制。我们的分析揭示了一类无需线搜索的方法仍然在纯粹的局部 Hölder 梯度连续性下收敛，特别是连续可微分的半代数函数。为了解决局部 Lips
PDF5 months ago
关于 SARAH 及超出其的收敛性
本文提出了一种称为 L2S 的算法，扩展了一种方差缩减方法 SARAH，并证明了在凸问题中 L2S 的复杂性为 O (n+sqrt (n)/epsilon)。我们的实验结果表明，L2S 可能比 SARAH 具有更好的泛化性能。
PDF5 years ago
ICLR本地 SGD 收敛快且通信量小
本论文证明了局部随机梯度下降算法在凸问题上能够以与小批量随机梯度下降算法相同的速率收敛，并且与工人数量和小批量大小呈线性加速关系，其中通信轮数可以减少长达 T ^ {1/2} 个因子。
PDF6 years ago
随机梯度下降的数据相关稳定性
我们为随机梯度下降（SGD）建立了数据相关的算法稳定性概念，并利用它来开发新的泛化界限；我们的结果表明，在凸和非凸问题中，预筛选初始化是稳定 SGD 的一种简单数据驱动策略，并允许我们展示出乐观的泛化界限。
PDF7 years ago
ICLR连续学习：使用特征代数工程超级特征
本文研究的问题是在给定的训练数据集中寻找预测模型。我们提出了一种迭代过程，用于得到一系列不断改进的模型和对原始输入空间的一系列非线性特征。在有限的 N 次迭代后，非线性特征变成原始空间上 2^N - 次多项式。我们展示了在无限次迭代的极限情
PDF11 years ago