Apr, 2019

高阶全变差正则化最小二乘预测界

PDF
TL;DR对于趋势过滤，我们通过将对总变异率的 k-1 阶差异惩罚与最小二乘估计相结合，并使用 “插值向量” 来上界 “有效稀疏度”，为其建立自适应结果。我们证明了 k∈{1,2,3,4} 的结果，并指示了如何导出 k∈$\mathbb {N}$ 的一般情况。
adaptive resultstrend filteringtotal variation$\ell_1$-penalized least squares estimator$k^{ ext{th}}$ order differences
发现论文，激发创造
  • 单变量全变差去噪和趋势过滤中的自适应风险界限

    探讨 trend filtering 方法在强稀疏性情况下的表现，研究了每个正整数 $r$ 的趋势过滤估计器，发现其具有很好的性能，因此支持在强稀疏性情况下使用 trend filtering 方法。

    Feb, 2017

  • 一种基于随机优化的训练非线性神经网络的高阶全变差正则化方法

    高度表达的参数模型，如深度神经网络，在建模复杂概念方面具有优势，但这种高度非线性模型的训练已知存在高风险的过度拟合问题。为了解决这个问题，本研究考虑第 k 阶总变差（k-TV）正则化，该正则化定义为被训练的参数模型的 k 阶导数的平方积分，对 k-TV 进行惩罚有望产生更平滑的函数，以避免过度拟合。虽然应用于一般参数模型的 k-TV 项由于积分而具有计算上的困难，但本研究提供了一种随机优化算法，可以在不进行显式数值积分的情况下高效训练具有 k-TV 正则化的一般模型。所提出的方法适用于结构任意的深度神经网络的训练，因为它只需使用简单的随机梯度下降算法和自动微分即可实现。我们的数值实验表明，采用 K-TV 正则化训练的神经网络比传统参数正则化训练的神经网络更 “弹性”。所提出的算法还可以扩展至神经网络（PINNs）的物理知识训练。

    Aug, 2023

  • 分段多项式趋势的自适应在线估计

    文章探讨带有噪声梯度反馈的非平稳随机优化框架，在比较序列变化的动态策略中，研究在线学习算法的动态后悔，并引入了 Total Variation ball 等新颖变分约束来建模比较序列，并基于基于小波的非参数回归理论，设计出一个多项式时间算法，并证明了该算法达到了几乎最优的动态后悔，该策略适应未知的半径。

    Sep, 2020

  • 关于带有 L1 正则化的最小二乘回归的一些尖锐性能界

    通过参数估计准确性和特征选择质量两个角度，我们得出了最小二乘回归与 $L_1$ 正则化的性能边界。对于 $L_1$ 正则化得出的主要结果扩展了 Dantzig 选择器中 [Ann.Statist.35 (2007) 2313-2351] 类似的结果，并肯定回答了 [Ann.Statist.35 (2007) 2358-2364] 中的一个未解问题。此外，该结果还产生了一种更广泛的特征选择观点，该观点比一些最近的工作具有更少的约束条件。基于理论洞察力，我们分析了具有选择性处罚的新型两阶段 $L_1$ 正则化过程，并表明如果目标参数向量可以分解为具有大系数的稀疏参数向量和具有相对较小系数的其他较少稀疏向量的总和，则两阶段过程可以提高性能。

    Aug, 2009

  • 趋势滤波调节分段多项式估计

    通过将 trend filtering 估计与局部自适应回归样条进行比较，发现 trend filtering 估计可以更好地适应平滑度的局部水平，与局部自适应回归样条非常相似，而且在 k 阶可变差分函数的情况下，trend filtering 估计收敛于类较小化速率，从而提供了理论支持。

    Apr, 2013

  • 普通最小二乘回归的更快、更好、更坚强的收敛速率

    提出一种基于平均加速正则梯度下降的算法，通过细化初值和 Hessian 矩阵的假设，最优地优化回归问题，并证明其在偏差与方差之间具有最优性、大数据时初始化影响可达到 O（1/n2）以及对于维度 d 的依赖程度为 O（d/n）。

    Feb, 2016

  • 最优稀疏恢复的隐式正则化

    本文探讨了应用于无惩罚最小二乘回归问题的梯度下降方法的隐式正则化方案，旨在从线性测量的过少的系统中重构出一个稀疏信号，考虑到受限等距假设，我们展示了有一定参数下，预设好的初始化、步长和停机时间能给出一个在统计和计算上都是优的算法，可以在费用与读取 poly-logarithmic 因子的数据一样的代价下，实现极小化率。除了最小化控制，我们还展示了当信噪比足够高时，算法会适应实例的困难度并产生一个与维度无关的率。实现算法的关键是一个逐渐增加的步长方案，根据对真实解的精细估计进行适应。我们通过数值实验验证了我们的发现并将我们的算法与显式 Λ1 惩罚进行了比较。从难实例到容易实例，我们看到我们的算法经历了一个相变，最终与具有真正的支持知识的最小二乘拟合器匹配。

    Sep, 2019

  • 超越最小二乘法：通过自协调快速收敛正则化经验风险最小化

    通过使用带有二次希尔伯特范数的凸经验风险正则化的学习方法，我们考虑了线性预测器和非线性预测器的设置，同时包括正定核。针对这类损失，作者提出了一种偏差 - 方差分解思路，并通过改善偏差项、方差项或二者同时来快速逼近渐进速率，从而实现在减小自相近损失假设下的非高斯预测器更快速的收敛效果。

    Feb, 2019

  • 局部差分隐私模型中稀疏线性回归的改进分析

    在本文中，我们重新考虑了局部差分隐私（LDP）模型下稀疏线性回归的问题。我们提出了一种创新的非交互式局部差分隐私（NLDP）算法，该算法在数据服从亚高斯分布的情况下，为估计误差提供了上界，并且在服务器有额外公开但未标记数据的情况下，误差上界可以进一步提高。我们还研究了序贯交互式 LDP 模型，并发现了非私有情况、中心差分隐私模型和局部差分隐私模型在稀疏线性回归问题上的基本差异。

    Oct, 2023

  • 半参数最小二乘学习线性动态系统

    通过分析最小二乘估计器的变体，，提出了一种半参数噪声估计算法，可以解决具有偏差，半参数噪声的估计问题，同时可以应用于部分观测线性系统参数的估计，且对于长期依赖问题的方差引入具有可减少的能力.

    Feb, 2019