该论文研究贝叶斯学习中常见的最大后验估计和后验分布采样的计算任务,证明在非凸情况下后验分布采样有时比优化更快,并展示两者在计算复杂性上的不可比较性,呈现出计算复杂度的急剧相变。
Nov, 2019
利用鲁棒的学习算法,我们研究了如何适应任意目标函数的采样分布以寻找良好的局部最优解。我们的研究结果表明,我们的自适应采样器可以为实践中出现的组合优化问题提供有效的解决方案。
Feb, 2018
本文针对非凸非光滑问题提出新的算法稳定性度量方法,同时建立它们与梯度之间的量化关系,并使用采样确定算法导出了随机梯度下降算法和其自适应变种的误差界。
Jun, 2022
本文通过对 Langevin Monte Carlo 采样算法的理论背景进行分析和实验,提出了一种新的计算密度函数收敛性的 Wasserstein 距离度量方法,并进一步研究了该采样算法与梯度下降优化算法之间的关系,同时还证明了一种基于噪声梯度评估的改进算法的收敛性.
Apr, 2017
在采样技术的研究领域,我们提出智能采样的概念,既可以创建新算法,也可以修改其他领域的适当算法以满足采样需求,经过定量和定性比较发现,简单的算法可以轻松地满足超参数优化、数据分析等方面的采样需求,并且优于当前使用的更复杂的算法,从而更好地利用时间和计算资源。
Jun, 2023
巨大数据时代需要高效的机器学习算法,本论文表明,通过使用一种特殊的随机替代品,可以在几乎不降低质量的情况下,代替计算密集型子程序。
Sep, 2023
用采样方法改进蒙特卡洛树搜索来实现全局非凸函数优化,避免传统分区树方法在高维情况下指数级增长的树规模,通过利用数值上估计的目标不确定性指标、采样估计的一阶和二阶信息,并且避免传统固定组合模式,快速高效地发现有潜力的区域,有效平衡探索与开发。在高维非凸优化测试中与其他方法进行了对比,并分析了超参数的影响。
Jan, 2024
本文论述了大规模优化问题中 Sub-sampling 的迭代算法,提供了 Hessian 和梯度子采样的收敛边界,使用随机数值线性代数来获得适当的采样策略,并为在大规模线性系统下近似更新的情况下的全局收敛结果提供了解决方案
Jan, 2016
本文提出了一种可扩展的随机主化最小化方案,能够应对大规模或可能无限的数据集,解决凸优化问题,并开发了几种基于此框架的有效算法,包括一个新的随机近端梯度方法,用于大规模 l1 逻辑回归的非凸稀疏估计的在线 DC 编程算法和解决大规模结构矩阵分解问题的有效性。
Jun, 2013
提出了一种近似正则化路径追踪方法,用于求解许多具有非凸问题求解的学习问题,该算法迭代复杂度与全正则化路径相同,可以同时提供统计和计算收敛率的显式表达式,并可以实现全局几何收敛,以及对于所有近似局部解的样本复杂度分析和精确支持恢复结果。