球面上的截断核随机梯度下降
提供了一种高效的样本多项式时间估计器,用于高维球形高斯混合模型中,从而显着降低了时间和样本复杂度,并且还提出了针对一维混合模型的简单估计器及一种更快的算法,用于从一组分布中选择密度估计。
Feb, 2014
研究了使用双重随机函数梯度的方法来扩展核方法以及其在优化问题中的应用,其中使用此方法产生的函数在核希尔伯特空间中的表现具有良好的收敛速率,并且已经被证明可以适用于像MNIST、分子空间和ImageNet这样的数据集中。
Jul, 2014
本文提出了一种统一分析的变体的近端随机梯度下降法,包括了未进行方差缩减、重要性抽样、小批量抽样、量化、坐标子采样等方法,同时获得了近端随机梯度下降法和随机化坐标下降法、方差缩减和非方差缩减的统一理论,提出了五种新变体的近端随机梯度下降法,并通过数值实验证明了其性质。
May, 2019
本文研究了随机梯度下降法和随机重球法在一般随机逼近问题上的收敛速度和最后迭代时的表现,证明了加权平均的迭代数的 收敛率,以及在非超参数区域内使用随机线性搜索和随机Polyak步进时的收敛性,并证明了最后一个重球的迭代收敛于极小化器,最后在非凸设置中证明了关于SGD轨迹下最低梯度范数的相似速率结果。
Jun, 2020
研究了神经网络在最小二乘设置中的应用,讨论了随机梯度下降与最终迭代的相关性,并在统计和优化双重视角下给出了多项式瞬时收敛率的解读,建立与再生核希尔伯特空间的联系。
Feb, 2021
提出了一种低复杂度的黎曼子空间下降算法,通过利用选择的子空间,并将更新写为迭代点的Cholesky因子和一个稀疏矩阵的乘积,避免了矩阵幂运算和密集矩阵乘法,能够高效地计算黎曼梯度,特别适用于协方差估计等领域。
May, 2023
在该研究中,我们开发了新颖的算法结构,用于在球面数据和旋转群中加速和可微分计算广义傅立叶变换,包括球谐变换和Wigner变换。通过紧密耦合可分离的球面变换,结合混合自动和手动微分方法计算梯度,我们在JAX可微分编程框架中实现了这些算法。我们的方法在不同的球面采样方法上进行了支持,并具有出色的计算准确性和可伸缩性,达到了前所未有的线性时间复杂度。
Nov, 2023
该研究聚焦于球体上的散乱数据拟合问题,研究了一类加权谱过滤算法在拟合含有可能无界随机噪声的噪声数据时的近似性能。通过开发一种积分算子方法来分析,我们能够推导出加权谱过滤算法的最优 Sobolev 类型误差估计,同时我们还提出了一种分而治之的方案来降低算法的计算负担,并给出了最优逼近误差界。
Jan, 2024
本研究解决了传统核方法在动态系统中选择最佳基核和参数调优的难题,尤其是在局部最优解问题上。通过引入核平方和方法(KSOS)与全局优化框架,研究表明,KSOS在预测混沌动态系统的行为方面优于梯度下降,具有更高的鲁棒性和预测能力。这一发现为科学领域的时间序列分析提供了重要的价值和潜在影响。
Aug, 2024
本研究解决了在高维空间中使用傅里叶特征进行高精度近似的难题,提出了一种新型的平方指数核的求积规则,通过利用高斯测度的各向同性,构造成径向与球面求积规则的张量积。我们的工作表明,这种傅里叶特征族实现了更优的近似界限,对大规模问题的机器学习和统计应用具有重要影响。
Aug, 2024