- 黑韦尔可达性的速率保持减缩
证明 Abernethy 等人的转化不能保持收敛速度,但可以将任何 approachability 实例紧密转化为 improper phi-regret minimization 实例,在 line 性转换的情况下可以保持收敛速度。
- 梯度下降学习的超参数化卷积神经网络图像分类器收敛速率分析
基于过参数化卷积神经网络的图像分类,采用全局平均池化层进行考虑。通过梯度下降学习网络的权重,推导出新引入的卷积神经网络估计的错误分类风险与最小可能值之间收敛速度的界限。
- 用于优化算法的随机前向模式自动微分
神经网络的反向传播过程利用了自动微分的基本要素,通过前向模式的自动微分或 Jacobian 向量乘积 (JVP) 来计算损失函数的方向导数,并使用随机采样的不同概率分布计算这些方向导数,本文对这些方法进行了严格的分析并给出了收敛速率,同时还 - 流形滤波融合网络
我们介绍了一类大型流形神经网络(MNNs),称为 Manifold Filter-Combine Networks。我们研究了此类神经网络的实现方法,并提供收敛条件以及收敛速度的改进。
- 随机梯度下降法在非凸目标函数中的收敛速率
本文研究了随机梯度下降法在非全局凸函数的情况下,实现局部收敛和收敛速率的估计,尤其适用于机器学习中的简单目标函数。
- 高度平滑凸优化的近乎最优方法
该研究提出了一种在 oracle 模型下,用高斯凸优化问题的 $p$ 阶 Taylor 拓展在查询点处获得的方法,可以实现任意 $p$ 阶导数为 Lipschitz 的凸函数的收敛速率 $\tilde {O}(1/k^{(3p+1)/2}) - 并行平均随机梯度算法收敛率
介绍了一种并行的平均随机梯度算法,能够高效地递归处理高维空间中的大样本数据,并给出了强凸目标和局部强凸目标的平均收敛速度和渐近正态性。
- ICML原始 - 对偶速率与证明
提出了一种算法无关的框架,用于为现有的优化方法提供原始 - 对偶证书,以及相应的收敛速率保证。
- 一种基于最大范数约束的一比特矩阵补全极小化方法
本研究探讨使用 max-norm 作为秩的凸松弛下,基于一般非均匀采样分布的噪声 1-bit 矩阵补全问题,并引入了 max-norm 约束的极大似然估计,并使用信息论方法建立了最优速率的极小极大下限,并讨论了计算算法和数值性能。
- MM基本半代数凸集上循环投影算法收敛速度分析
研究基本的半代数凸集生成的多项式的最高次数和底层空间的维度对循环投影算法应用于有限个基本半代数凸集的收敛速度的影响,通过利用基本半代数凸体的代数结构,建立了一个明确的收敛速率估计。
- 一种随机强凸优化的最优算法
本研究考虑具有强凸(但不一定平滑)目标函数的随机凸优化问题,我们提出一种仅使用梯度更新的算法,具有最优的收敛速度。
- 随机森林模型分析
研究了随机森林模型的统计性质,证明其是一致的,适应于稀疏数据,收敛速度只与有效特征的数量有关。
- 一种改进的 Berry-Esseen 不等式及其在泊松随机和混合泊松随机求和中的应用
通过改进 Korolev 和 Shevtsova(2009)的方法,针对满足零均值、单位方差和有限三阶绝对矩的正态分布函数和归一化随机变量和的分布函数,证明了两个不等式。第一个不等式是关于经典 Berry-Esseen 不等式最优版本的加强 - 差分隐私的统计框架
研究统计隐私的目标之一是构建一个数据发布机制,它可以在保护个人隐私的同时保留信息内容。本文从统计角度考虑差分隐私,研究满足差分隐私要求的数据发布机制,并比较它们的收敛速度。研究表明,指数机制的准确性与经验分布在真实分布周围集中的概率密切相关 - 具有指数收敛的随机 Kaczmarz 算法
介绍了 Kaczmarz 方法的随机版本来解决一致、超定的线性问题,证明了它具有期望指数收敛速度,且速度不依赖于方程的数量,甚至只需知道随机的一小部分。