此文讨论了优化算法与蒙特卡罗采样算法之间的关系以及在非凸优化函数中,采样算法的计算复杂度与模型维度呈线性关系而优化算法的计算复杂度呈指数关系。
Nov, 2018
本研究探究了针对大型超参数空间的机器学习算法选择和超参数调优问题,并提出了一种新的抽样分布方法,以便与现有的机器学习方法进行比较和评估。我们发现,采用该抽样方法在所有情况下均可提高性能。
Sep, 2019
在采样技术的研究领域,我们提出智能采样的概念,既可以创建新算法,也可以修改其他领域的适当算法以满足采样需求,经过定量和定性比较发现,简单的算法可以轻松地满足超参数优化、数据分析等方面的采样需求,并且优于当前使用的更复杂的算法,从而更好地利用时间和计算资源。
Jun, 2023
本研究通过分布式算法从 Gibbs 分布中采样,提出了两个基于马尔科夫链的算法,并探讨了在 LOCAL 模型中采样的问题。此外,研究了在最大度数为 Delta 的情况下,采样独立集的最小下界 diam,最终证明了构造本地可校验标签与采样之间的强分离。
Feb, 2017
本文研究了从连续分布中进行采样的优化问题,利用 Gumbel 过程提出了 A * 采样算法,对其正确性和收敛时间进行了分析,并与现有算法进行比较实验。
Oct, 2014
该研究提出了一种基于机器学习的框架来扩大组合优化算法,并使用可解释的学习模型来提供更深层次的洞见,以设计更好的启发式方法,在最大团枚举问题中展示了该框架的性能,并从中获得启示设计了一种新的启发式方法。
Jan, 2020
该论文研究了多分配学习范式的最优样本复杂度,并给出了符合最优样本复杂度的算法。其中,他们的样本复杂度界限超过了仅学习单个分布的学习的样本复杂度。
Oct, 2022
本文研究结合局部最优相关性对搜索算子与适应性操作选择的影响,并提出了一种新方法来提高在解空间中发现最优解的效率。该方法的性能优于常用的自适应算子选择方法。
May, 2023
本研究主要研究在嘈杂观测下,在图上定义 “爬山友好型” 函数的样本复杂度。作者提出了一个凸性的概念,利用最佳臂识别的变种,可以在少量查询后找到近似最优解。对于具有局部极值并且接近凸性的函数,作者证明了在噪声观测下经典模拟退火的样本复杂度。作者在图基邻近分类和文档重新排序应用问题上,展示了贪心算法和带重启的模拟退火的有效性。
Jun, 2020
该论文研究贝叶斯学习中常见的最大后验估计和后验分布采样的计算任务,证明在非凸情况下后验分布采样有时比优化更快,并展示两者在计算复杂性上的不可比较性,呈现出计算复杂度的急剧相变。
Nov, 2019