Apr, 2024

超参数化多元线性回归作为超曲线拟合

PDF
TL;DR该论文表明，将固定效应多重线性回归模型应用于过度参数化的数据集等同于用单一标量参数对数据进行拟合的超曲线参数化。通过这种等价性，可以采用以预测变量为中心的方法，其中每个预测变量都由所选参数的函数来描述。证明了即使存在违反模型假设的非线性依赖关系，线性模型也能够产生精确预测。在此处应用了以因变量和预测变量函数空间的单项基为参数化的方法来处理合成和实验数据。超曲线方法特别适用于处理预测变量中的噪声和 “不合适” 预测变量的正则化问题。
fixed-effect multiple linear regressionoverparameterized datasethyper-curvepredictor-focused approachregularization
发现论文，激发创造
  • 过参数化非线性回归中的一致预测的贝叶斯推断

    通过贝叶斯框架探索超参数化非线性回归的预测特性，并在单神经元模型和广义线性模型中建立了后验缩固，展示了我们的方法在过参数化方案中实现了一致的预测。此外，我们的贝叶斯框架允许对预测进行不确定性估计。通过数值模拟和实际数据应用验证了我们的方法，展示了其实现准确预测和可靠不确定性估计的能力。

    Apr, 2024

  • 多重下降：设计自己的泛化曲线

    该研究探讨了可变参数模型家族中线性回归的泛化损失，证明了一般化曲线可以有任意数量的峰值，并且这些峰值位置可以明确地受到控制。结果表明，经典的 U 形一般化曲线和最近观察到的双下降曲线不是模型家族的固有属性，而是由数据和学习算法的归纳偏差相互作用所导致的。

    Aug, 2020

  • 一种新的旧问题视角：线性回归的通用学习方法

    通过通用学习的角度重新审视线性回归问题，研究了标签 y 和特征向量 x^T 的线性组合表达式及其学习可行性，证明在训练数据的相关矩阵特征向量构成的子空间上，即使参数个数 M 多于样本个数 N，线性回归也可以具有很好的推广性能。

    May, 2019

  • 广义函数线性模型

    本文提出了一种广义的函数线性回归模型，包括函数线性模型、泊松回归和二项回归，并使用截断 Karhunen-Loeve 展开逼近预测过程进行降维，开发了一种适用于广义回归模型的渐近推断方法，其中截断参数随样本大小而增加，并应用控制变量的中心极限定理来建立维数的渐近增加，建立合适的 L^2 度量下的估计和真实函数之间的适当缩放距离的渐近正态性。

    May, 2005

  • 线性回归中的良性过拟合

    研究表明，过度拟合是深度学习方法的主要问题之一，但当训练中使用最小规范化规则时，线性回归问题中的过度拟合也可以实现高精度预测，需要超参数数量显著超过样本大小。

    Jun, 2019

  • 局部自适应的可微回归

    通过在对应的局部区域中基于局部学习模型的加权平均构建全局连续和可微模型的一般框架，我们在处理具有不同密度或不同局部区域功能值范围的数据方面取得了竞争优势，并且通过在局部模型中混合核脊回归和多项式回归项并连续地拼接它们，我们在理论上实现了更快的统计收敛性和在各种实际设置中改进的性能。

    Aug, 2023

  • 使用近似梯度进行超参数优化

    本文提出了一种算法来优化连续超参数，该方法可以在模型参数完全收敛之前更新超参数，具有全局收敛的充分条件，并在 L2 正则化逻辑回归和核岭回归的正则化常数估计上验证了实证表现。

    Feb, 2016

  • 岭回归中的良性过拟合

    本研究探讨了过参数化模型在插值噪声数据时的行为，分析了数据的协方差结构和高效秩的子空间是如何影响该现象的发生，并提供了正则化条件下的结果。

    Sep, 2020

  • 基于梯度的双层优化用于多罚项岭回归的矩阵微分计算

    本研究探讨了线性回归中带有 L2 正则化的问题，每个输入变量都与一个不同的正则化超参数相关联。通过基于梯度的方法优化这些超参数，通过计算交叉验证准则相对于正则化超参数的梯度，使用矩阵微分学进行解析计算。此外，我们引入了两种针对稀疏模型学习问题的策略，旨在减少过度拟合验证数据的风险。数值示例表明，我们的多超参数正则化方法胜过 LASSO、Ridge 和 Elastic Net 回归。此外，与自动微分相比，梯度的解析计算在计算时间方面更加高效，特别是在处理大量输入变量时。还介绍了应用于过参数化线性参数变化模型的情况。

    Nov, 2023

  • 过参数化情况下的分类与回归：损失函数是否重要？

    这篇研究论文探讨了使用高斯特征的超参数化线性模型在分类和回归任务中的表现，发现当过度参数化时，所有训练点都成为支持向量，从而演化出一个法向量的模型，比起普通的最小二乘法和解决分类问题的 SVM，更适用于两者的情况，并讨论了在不同 loss function 下，训练（优化）和测试（归纳）階段使用的方法的不同作用和特性。

    May, 2020