RobustTrend: 一个利用组合的一阶和二阶差分正则化的 Huber 损失函数进行时间序列趋势过滤的方法

IJCAIJun, 2019

RobustTrend: 一个利用组合的一阶和二阶差分正则化的 Huber 损失函数进行时间序列趋势过滤的方法

RobustTrend: A Huber Loss with a Combined First and Second Order Difference Regularization for Time Series Trend Filtering

PDF

Qingsong Wen, Jingkun Gao, Xiaomin Song, Liang Sun, Jian Tan

TL;DR本文提出一种基于鲁棒统计和稀疏学习的趋势过滤算法，采用 Huber 损失压制离群值并利用一阶和二阶差分组合作为正则化以捕捉缓慢和突变的趋势变化，通过主元最小化与多项式替代方向法设计出有效的方法来解决鲁棒趋势过滤，实验证明该算法优于其他九种最先进的趋势过滤算法。

Abstract

Extracting the underlying trend signal is a crucial step to facilitate time series analysis like forecasting and anomaly detection. Besides noise signal, time series can contain not only outliers but also abrupt trend changes in real-world scenarios. To deal with these challenges, we propose a robust trend filtering algorithm based on →

time series analysis trend filtering algorithm robust statistics sparse learning huber loss

发现论文，激发创造

快速灵活的 ADMM 趋势滤波算法

本文提出了一种用于趋势过滤的快速而稳健的算法，能够达到最小化最优误差率并提高数值稳定性，有利于更广泛的实际应用。

Jun, 2014

单变量全变差去噪和趋势过滤中的自适应风险界限

探讨 trend filtering 方法在强稀疏性情况下的表现，研究了每个正整数 $r$ 的趋势过滤估计器，发现其具有很好的性能，因此支持在强稀疏性情况下使用 trend filtering 方法。

Feb, 2017

自适应 Huber 损失的主动回归

该论文提出了一种新的解决半监督学习下 Huber loss 优化问题的方法，该算法结合了多视角学习和流形正则化技术，能够在数据驱动的背景下，避免迭代式的计算方案，积极平衡标签数据的使用，以达到处理多种应用场景下的高效低成本、鲁棒性强的性能。

Jun, 2016

含趋势过滤的加法模型

本研究采用趋势滤波构建的加法模型，使每个组件都受其 k(离散) 导数的（离散）全变差正则化，以得到 k次片段多项式组件。我们推导出加法趋势滤波估计的快速误差率，表明当基础函数为可加性函数且其组件函数的导数具有有界变化时，这些率是极小化最优的。此外，我们描述了一种新的并行迭代的后调优算法，提高了计算效率，并通过实验证明了加法趋势滤波的优越性。

Feb, 2017

趋势滤波调节分段多项式估计

通过将 trend filtering 估计与局部自适应回归样条进行比较，发现 trend filtering 估计可以更好地适应平滑度的局部水平，与局部自适应回归样条非常相似，而且在 k 阶可变差分函数的情况下，trend filtering 估计收敛于类较小化速率，从而提供了理论支持。

Apr, 2013

自适应 Huber 回归

本篇论文提出了一种针对大数据中的尾部离群值和重尾分布等问题的自适应 Huber 回归方法，其中关键观察是，用于鲁棒性参数自适应的最优偏差和鲁棒性之间的权衡应该适应于样本大小，维度和矩。

Jun, 2017

基于 Huber 损失的用户级差分隐私均值估计方法

在分布式系统中，用户整体样本的隐私保护是很重要的。我们提出了基于 Huber loss 最小化的方法来进行用户级差分隐私下的均值估计，通过自适应调整 Huber loss 的连接点来处理不平衡的用户，避免了剪辑操作，大大减少了误差。通过理论分析和数值实验证实了我们的方法。

May, 2024

图上的趋势过滤

基于离散图差的 L1 范数惩罚，我们介绍了一族图上的自适应估计器。该方法将非参数回归中的趋势滤波推广到图中，相当于 univariate case，它表现出一定程度的局部适应性，也是由一个凸优化问题定义的，可以很容易地通过高效 ADMM 或 Newton 算法进行求解。通过实例和理论，我们展示了图趋势滤波的优点。

Oct, 2014

RobustSTL: 一种长时间序列鲁棒的季节性趋势分解算法

该论文提出了一种新颖的通用时间序列分解算法来解决现实世界数据中存在的季节性波动变化、趋势和异常值的挑战，其方法基于解决回归问题使用稀疏正则化的最小绝对偏差损失来鲁棒地提取趋势，并基于趋势提取具有非局部季节性的滤波，该过程重复直到获得准确的分解。实验表明，我们的方法优于现有的解决方案。

Dec, 2018

高维重尾数据下的健壮回归：渐近性和普适性

我们研究了在协变量和响应函数都存在重尾污染的情况下，强鲁棒回归估计器的高维特性。尤其是，我们针对一族包括无二阶甚至更高阶矩不存在情况下的椭圆形协变量和噪声数据分布，提供了 M - 估计的锐性渐近特性描述。我们表明，尽管具有一致性，在存在重尾噪声的高维情形中，优化调整的 Huber 损失与位置参数 δ 是次优的，强调了需要进一步正则化以达到最佳性能的必要性。这个结果还揭示了 δ 作为样本复杂性和污染的函数的一个有趣的转变的存在。此外，我们导出了岭回归的超额风险的衰减速率。我们表明，对于有限二阶矩的噪声分布，岭回归虽然是最佳的且适用的，但当协变量的二阶矩不存在时，它的衰减速率可能会更快。最后，我们展示了我们的公式可以方便地推广到更丰富的模型和数据分布，如对混合模型的任意凸正则化训练的广义线性估计。

Sep, 2023