带岭正则线性模型的马尔可夫边界发现
这篇文章研究了核岭回归中的低秩逼近和替代方法，通过引入降维算法和核函数的正则性，探讨了降维逼近的有效维度与正则化参数的增长关系，并证明了对于合适的核函数，这种增长是渐近对数的，从而使得低秩逼近成为纽斯特伦方法。
Feb, 2024
本文提出了一个基于并行哈密顿模拟的量子算法以及 $K$ 倍交叉验证方法来优化岭回归 (Ridge Regression) 并进行预测性能评估，该算法对于非稀疏数据矩阵具有高效处理的能力，并且对于低秩矩阵且条件数较低的数据矩阵可以实现指数级加速，但对于条件数较高的数据矩阵只能实现多项式级加速。
Jul, 2017
本文介绍了使用 hinge-loss Markov 随机场图模型进行结构化预测的方法，包括适用于 HL-MRFs 的可扩展的推理算法和几种学习算法，并证明了该方法在四个应用领域中能够与离散模型相媲美或更好的预测性能。
Sep, 2013
我们考虑相关的因子回归模型（FRM），并分析经典岭插值器的性能。利用强大的随机对偶理论（RDT）数学引擎，我们得到了基于最优化问题和所有相关优化量的精确闭合形式表征。特别地，我们提供了过度预测风险的表征，清楚地展示了对所有关键模型参数、协方差矩阵、载荷和维度的依赖性。作为过参数化比例的函数，广义最小二乘（GLS）风险也表现出众所周知的双下降（非单调）行为。与经典线性回归模型（LRM）类似，我们证明了这种 FRM 现象可以通过最优调整的岭正则化来平缓。理论结果得到了数值模拟的补充，并观察到两者之间的极好一致性。此外，我们注意到 “岭平滑” 通常在超参数化比例大于 5 时效果有限，并且在超参数化比例大于 10 时几乎没有效果。这加固了最近最流行的神经网络范式之一 ——“零训练（插值）广义良好泛化”—— 在 FRM 估计 / 预测环境中具有更广泛的适用性。
Jun, 2024
本文首次表征凸形 ERM 在高维广义线性模型推断中的基本统计精度界限，推导出任意损失函数和正则化参数值的紧凑下界，并精确评价了损失函数和正则化参数值的优化调整。
Jun, 2020
本文介绍了两种新的模拟结构化数据的形式，并证明它们可以捕捉到丰富的结构并可扩展到大规模数据。第一种形式是铰接损失马尔可夫随机场（HL-MRFs），是一种新的概率图模型，可以推广凸轮廓推断的不同方法。第二种新形式是概率软逻辑（PSL），是一种基于一阶逻辑的概率编程语言，使 HL-MRFs 易于定义。这些算法使 HL-MRFs 和 PSL 能够可扩展地模拟以前无法达到的大规模丰富结构数据。
May, 2015
利用正半定岭估计器及非线性协方差矩阵估计器，本文提出了一种新颖的 NL-RLDA 分类器，并通过综合性能评估表明其在合成数据和真实数据上的有效性。与现有方法相比，该技术在多个数据集上均表现优异。
Jan, 2024
对于具有噪声标签的二元分类问题，正则化线性回归是一种有前景的方法。本文系统研究了正则化强度对通过最小化正则化最小二乘目标来解决二元分类问题的线性分类器性能的影响。通过在超参数化条件下，假设类别是由高斯混合模型生成的，其中有一个小于 1/2 的比例的训练数据被误标记，我们严格分析了岭回归、L1 和 L∞回归应用时产生的分类错误。特别地，我们证明了岭回归总能改善分类错误。我们证明了 L1 正则化引起稀疏性，并观察到在许多情况下，不考虑 GMM 的稀疏结构，可以将解稀疏化两个数量级而不会有明显的性能损失。对于 L∞正则化，我们证明了对于足够大的正则化强度，最优权重集中在两个相反符号的值周围。我们观察到在许多情况下，将每个权重压缩到一个位时几乎不会造成性能损失。这些观察结果具有重要的实际影响。
Nov, 2023