一种可以利用先验信息加速收敛的 Robbins--Monro 序列
本文提出了基于随机化的方法来拓展符合推理的应用,使其能适用于时间序列数据,并通过引入分块结构来考虑潜在的串行相关性。当数据是独立同分布或更普遍地可交换时,该方法与传统的符合推理方法具有相同的无需模型的有效性;当数据不可交换时,如常见的时间序列数据,该方法在对符合程度得分的弱假设下也具有近似的有效性。
Feb, 2018
本文介绍一种基于 Markov chain Monte Carlo 算法的新型模拟算法,具有高效采样复杂分布的性能,并介绍一种方法学和理论框架,证明了边际分布的收敛性和大数定律成立的条件, 并且具有一定的泛化性,适用于目标分布为非平稳分布的情况。
Mar, 2012
本文研究了在高维贝叶斯问题中使用 MCMC 算法,以及使用漂移和最小化条件来分析蒙特卡罗马尔可夫链的收敛速率,并对代数和 Chib 的数据增广算法进行了深入的分析,证明其下界大于 1,并且得到了渐近分析的一些实际结果。
Dec, 2017
本文考虑在连续收缩先验下,使用马尔可夫链蒙特卡罗算法进行贝叶斯高维回归分析。文章提出的耦合技术能够实现实用的诊断收敛性,适用于高维回归分析。实验证明,耦合技术在具有一定自由度的半 t 分布先验下能够大幅度减少算法迭代次数,提高计算效率。
Dec, 2020
本文提出了一种使用健壮控制合成技术来进行算法搜索的方法,以获得在具有任意有限内存的算法上成立的最坏情况下性能保证,并证明了这种方法比先前方法更为有效。
Apr, 2019
我们介绍了一个机器学习框架,用于启动固定点优化算法;我们的架构由一个神经网络和一定数量的固定点迭代组成;我们提出了两个损失函数,其中一个用于最小化固定点残差,另一个用于最小化到参考解的距离;我们的架构具有灵活性,可以预测任意步骤下的固定点算法的启动;我们提供了对常见类别的固定点算子(收敛、线性和平均)的未见数据的 PAC-Bayes 泛化界限;将该框架应用于控制、统计和信号处理等领域的知名应用可以显著减少求解这些问题所需的迭代次数和解决时间。
Sep, 2023
提出了两个针对非凸情况的数值算法,用于快速解决优化问题。该算法基于可变度量介绍了近端项,这使得我们能够针对非凸结构优化问题构建新的近端分裂算法。在变量度量序列条件温和并且假设相关增广拉格朗日函数具有 Kurdyka-Lojasiewicz 性质的情况下,证明了该算法迭代可以收敛到 KKT 点,并获得了增广拉格朗日函数和迭代的收敛速度。
Jan, 2018
本研究讨论了线性二时间尺度随机逼近方法的收敛速度,证明了它们的渐进协方差和建立了渐近正态性,通过本文的一般结果,证明了著名的 Polyak-Ruppert 平均技术在线性随机逼近中的最优性。
May, 2004
介绍了一种使用共轭先验和仿射变换降低蒙特卡罗估计方差的动态机制,该机制适用于解决概率程序中可分析子结构的问题,并加以应用于顺序蒙特卡罗推断和 Anglican 等编程语言。
Aug, 2017
本文研究基于边界优化算法(Expectation-Maximization、Iterative Scaling 和 CCCP)的参数学习与直接优化算法(如梯度下降法)的关系,通过分析各种方法的更新方式来识别局部收敛和全局收敛之间的差别及数据预处理对算法性能的影响。实验结果表明,对数据进行简单预处理可以显著提高边界优化算法的性能。
Oct, 2012