Mar, 2024

超线性伸缩区域外的随机特征回归渐近行为

PDF
TL;DR近期的机器学习进展通过使用过参数化的模型训练到接近训练数据的插值来实现。 通过双下降现象的展示，已经证明参数数量是模型复杂性和泛化能力的劣质指标。 这引发了一个问题，即了解参数化对这些模型的性能的影响。 本文以随机特征岭回归（Random Feature Ridge Regression）为例进行调查。
machine learningoverparametrized modelsmodel complexitygeneralizationrandom feature ridge regression
发现论文，激发创造
  • 随机特征回归的泛化误差：精确渐近性和双下降曲线

    本文考虑使用随机特征空间，在测度无限趋近于无限，特征维度和样本量趋近于无穷大的情况下，利用结果回归模型和双下降现象等关键词解释深度学习模型中的奇妙现象。

    Aug, 2019

  • 随机特征模型的隐式正则化

    本文探讨了随机特征模型和核岭回归之间的联系，并发现了有限 RF 取样的隐式正则化效应，同时对比了使用 KRR 预测器的风险和使用 RF 预测器的平均风险并获得了它们之间差异的明确界限，最终在实验中发现了平均 λ-RF 预测和 tilde λ-KRR 预测器之间的极好一致性。

    Feb, 2020

  • 无维度确定性随机特征回归的等效

    我们研究了随机特征岭回归（RFRR）的泛化性能，并提供了其测试误差的一般确定性等价物。具体而言，在一定的集中性质下，我们表明测试误差可以用一个闭式表达式来良好近似，该表达式仅依赖于特征映射的特征值。值得注意的是，我们的近似保证是非渐近的、乘性的，并且与特征映射的维度无关，允许无限维特征。我们预期这个确定性等价物在我们的理论分析之外广泛适用，并从各种真实和合成数据集上对其预测进行了实证验证。作为一个应用，我们根据谱和目标衰减的标准幂律假设导出了尖锐的超额误差率。特别地，我们提供了实现最优极小极大误差率所需特征数量的紧密结果。

    May, 2024

  • 高维回归中的缩放和重标定

    用随机矩阵理论和自由概率的基本工具简要推导了多种高维岭回归模型的训练和泛化性能，在物理学和深度学习背景的读者中提供了这些主题的介绍和评论。通过自由概率的 $S$ 变换特性，从代数的几行直接获得训练和泛化误差的解析公式，能够直观地识别模型性能的幂律缩放来源。计算了广义类随机特征模型的泛化误差，发现在所有模型中，$S$ 变换对应于训练 - 测试泛化差距，并提供了广义交叉验证估计器的类比。利用这些技术，对具有结构化协变量的非常通用的随机特征模型得到了细粒度的偏差 - 方差分解。这些新颖结果使我们能够发现随机特征模型的缩放区域，在超参数设置中特征的方差限制了性能。我们还演示了随机特征模型中异向权重结构如何限制性能，并导致超参数设置中有限宽度修正的非平凡指数。我们的结果扩展并提供了对早期神经缩放定律模型的统一视角。

    May, 2024

  • 随机矩阵分析随机傅里叶特征：超越高斯核，精确的相变和相应的双下降

    本文讨论基于随机傅里叶核（RFF）的回归模型的精确渐进特征，研究表明在数据样本数、数据维度和特征空间维度等三个因素中为大且可比较的实际场景下，随机 RFF Gram 矩阵不再收敛于著名的极限高斯核矩阵而是有一个可处理的行为，双重下降测试误差曲线从这种相变行为中得出，该结果不依赖于数据分布的强假设。

    Jun, 2020

  • 随机特征和核方法的泛化误差：超收缩和核矩阵集中

    研究了在高维情况下，使用随机特征与岭回归相结合的方法在特征空间中实现核 Ridge 回归的近似，证明了欠拟合比过拟合更容易避免，展示了在满足特定谱条件和某些特征向量的超收缩性假设的情况下，所得到的错误随着自由参数的增加呈幂律下降的规律。

    Jan, 2021

  • 预测的高维渐近性：岭回归和分类

    本文在高维渐近极端条件下，对岭回归和正则化判别分析在密集随机效应模型中的预测风险进行了统一分析，并提供了两种方法的极限预测风险的明确和高效可计算的表达式。同时，揭示了岭回归和正则化判别分析各自的一些定性见解，本分析基于最近在随机矩阵理论领域的一些新进展。

    Jul, 2015

  • 高维核回归：超越双谷现象的细致分析

    该研究通过建立偏差 - 方差分解方法，研究了高维核岭回归在欠参数和过参数情况下的泛化性能特征， 揭示了特定的正则化方案下偏差和方差与训练数据数量 n 和特征维度 d 的组合方式对核回归风险曲线的形状的影响。

    Oct, 2020

  • 随机特征学习的泛化性能

    本研究探讨了统计学习框架下随机特征稀疏化岭回归的泛化性质，结果显示仅需 O（根号 n*log n）个随机特征即可实现 O（1 / 根号 n）的学习界限，优于之前的提法；此外我们证明了一系列快速学习速率及其潜在影响，研究证明了及格自适应分配随机特征的可行性，这有助于降低计算复杂度，并保持最优泛化特性。

    Feb, 2016

  • 高维回归中的假设检验： 高斯随机设计模型下的渐近理论

    本文探讨了在高维情况下使用 Lasso 估计器进行线性回归分析中，单个回归系数的 p-value 计算问题，证明了随机设计矩阵的问题可通过解偏差的 Lasso 估计器获得计算解，最后通过统计物理中的 Replica heuristics，推导出普遍高斯设计的标准分布极限。

    Jan, 2013