快速灵活的 ADMM 趋势滤波算法
通过将 trend filtering 估计与局部自适应回归样条进行比较,发现 trend filtering 估计可以更好地适应平滑度的局部水平,与局部自适应回归样条非常相似,而且在 k 阶可变差分函数的情况下,trend filtering 估计收敛于类较小化速率,从而提供了理论支持。
Apr, 2013
基于离散图差的 L1 范数惩罚,我们介绍了一族图上的自适应估计器。该方法将非参数回归中的趋势滤波推广到图中,相当于 univariate case,它表现出一定程度的局部适应性,也是由一个凸优化问题定义的,可以很容易地通过高效 ADMM 或 Newton 算法进行求解。通过实例和理论,我们展示了图趋势滤波的优点。
Oct, 2014
本研究采用趋势滤波构建的加法模型,使每个组件都受其 k(离散) 导数的(离散)全变差正则化,以得到 k次片段多项式组件。我们推导出加法趋势滤波估计的快速误差率,表明当基础函数为可加性函数且其组件函数的导数具有有界变化时,这些率是极小化最优的。此外,我们描述了一种新的并行迭代的后调优算法,提高了计算效率,并通过实验证明了加法趋势滤波的优越性。
Feb, 2017
探讨 trend filtering 方法在强稀疏性情况下的表现,研究了每个正整数 $r$ 的趋势过滤估计器,发现其具有很好的性能,因此支持在强稀疏性情况下使用 trend filtering 方法。
Feb, 2017
本文提出一种新的随机交替方向乘子法(ADMM)算法,其在线性化 ADMM 公式上逐步逼近全梯度。实验证明,该算法在凸优化问题上的收敛速度得到提高,速度显著快于现有的随机和批量 ADMM 算法。
Aug, 2013
本文提出了一种线性化的 ADMM 算法,用于最小化一个凸函数在非凸约束下的解,旨在解决变量处于神经网络范围内的约束问题,并给出了这种算法在 feedforward 架构下的性能特征,相比于梯度下降法更加高效。
Jul, 2019
本文提出一种基于鲁棒统计和稀疏学习的趋势过滤算法,采用 Huber 损失压制离群值并利用一阶和二阶差分组合作为正则化以捕捉缓慢和突变的趋势变化,通过主元最小化与多项式替代方向法设计出有效的方法来解决鲁棒趋势过滤,实验证明该算法优于其他九种最先进的趋势过滤算法。
Jun, 2019
本文为非凸优化问题提供一种广泛适用的解决方法,即交替方向乘子法(ADMM),并研究了其在不同领域的实用性,包括线性回归、图像降噪、相位恢复及特征向量计算, 最近从提出的自适应 ADMM 方法可以通过自动调整惩罚参数来提高算法效率和解决质量 compared to ADMM with a non-tuned penalty。
Dec, 2016
本文针对图像科学中广泛使用的一类优化问题,基于 ADMM 算法,通过使用通用的双重步长方法、构建特殊的潜函数以及采用简单的初始化策略实现了非凸优化问题全局收敛和解决,并在实际应用中进行了比较实验,表明最优化效果良好。
Jun, 2015
本研究提出了一种自适应调节罚项参数的方法,使得交替方向乘子法 (ADMM) 得以快速收敛,从而提高了其可靠性和自动化水平。结果表明,这种自适应 ADMM (AADMM) 算法可以相对缓解 ADMM 算法在惩罚因子调节方面存在的问题,并同时保持收敛速度较快。
May, 2016