Dec, 2023

关于回归斯克有主成分分析和普通最小二乘法的关系的研究

PDF
TL;DR这篇研究论文主要讨论了偏最小二乘（PLS）方法及其在标量回归问题中的应用，分析了由 PLS 得到的回归系数向量与普通最小二乘（OLS）方法得到的回归系数向量之间的距离，提供了该距离的上界并展示了其与回归因子协方差矩阵特征值分组数之间的关系。
partial least squarespls regressionscalar regressionkrylov subspacemahalanobis distance
发现论文，激发创造
  • KF-PLS: 优化带有核流 (K-PLS) 的核偏最小二乘法

    通过核函数优化的方法，本文介绍了基于 Kernel Flows (KF) 技术的核偏最小二乘回归 (K-PLS) 的优化方法，该方法在多元回归中表现出良好的结果，并进行了交叉验证研究和超参数分析。

    Dec, 2023

  • Higher-Order Partial Least Squares (HOPLS): 一种广义多线性回归方法

    提出了一种新的广义多线性回归模型 ——Higher-Order Partial Least Squares (HOPLS)，通过将数据投影到潜空间并在相应的潜变量上执行回归，从而预测张量（多维数组）从而解释数据的一系估计模型，该模型通过正交 Tucker 张量的总和来解释数据，正交负载的数量作为控制模型复杂度和防止过度拟合的参数。

    Jul, 2012

  • 隐私保护下的偏最小二乘法

    现代制造价值链需要智能协调公司间的流程，以最大化利润，同时促进社会和环境的可持续性。然而，由于与跨组织数据交换和集成相关的隐私问题，实现基于数据的决策的整合系统级方法目前受到阻碍。我们在这里提出了 Privacy-Preserving Partial Least Squares (P3LS) 回归，一种新颖的联邦学习技术，能够在保护隐私的同时实现组织间数据集成和过程建模。P3LS 使用基于奇异值分解（SVD）的 PLS 算法，并采用由受信任的权威机构生成的可移除随机掩码，以保护每个数据持有者贡献的数据的隐私。我们展示了 P3LS 在由三个参与方组成的假设价值链上垂直集成过程数据以及提高了几个与过程相关的关键绩效指标的预测性能。此外，我们展示了 P3LS 和 PLS 模型组件在模拟数据上的数值等价性，并对前者进行了彻底的隐私分析。此外，我们提出了一种确定贡献数据与问题相关性的机制，从而为量化参与者的贡献奠定基础。

    Jan, 2024

  • 差分隐私普通最小二乘法

    通过利用高斯约翰逊 - 林登斯特劳斯变换（JLT）来估计 OLS 中的 $t$ 值并推导出投影后的数据的置信区间，该文提出了一种基于不同隐私估计器的类似保证性质的方法。

    Jul, 2015

  • 加权稀疏偏最小二乘法用于联合样本和特征选择

    通过使用一个具有稀疏性的权重正则化模型来提供一个具有全局收敛性的算法，以实现数据融合中的样本和特征选择；此外，通过在多视图数据融合中扩展模型来支持具有相同样本集的多视图数据，进一步提高算法的效率。

    Aug, 2023

  • 一种快速算法以最小化多项式整数线性规划逆优化问题的预测损失

    通过将最小化预测损失的问题归结为最小化次优性损失的问题，我们提出了一种快速算法来有效地减少权重的预测损失并实现最小化的预测损失值。

    May, 2024

  • 近似贝叶斯最优伪标签选择

    本文介绍了一个拟会泛化误差的具有 Bayesian 框架的 pseudo-label 选择方法 (BPLS)，其使用解析近似来选择标签实例，并通过针对高维数据的实证评估来表明其优于传统的 PLS 方法。

    Feb, 2023

  • 高维线性模型中的最小二乘法：无处不在的容错与无泪的处理

    本文介绍了针对高维度问题的普通最小二乘（OLS）法无法适用的问题，我们提出了一种基于岭回归的 OLS 的广义版本，并提出了两种新的三步算法，这些算法在直观上易于理解，计算上易于高效实现，并且在模型选择方面有较强的理论吸引力。通过模拟和数据分析中与基于罚项的方法相比较的数值实验，这些算法的潜力得到了证明。

    Jun, 2015

  • OLS 随机投影的隐私 - 效用权衡

    我们研究了差分隐私（DP）在核心机器学习问题线性最小二乘（OLS）上的应用，发现了 ALS 算法作为 OLS 问题的随机化解决方案能够提供更好的隐私和效用平衡，同时我们提供了 ALS 算法和 OLS 中标准高斯机制的第一个紧密差分隐私分析。

    Sep, 2023

  • 高维回归的稀疏拉普拉斯缩减估计器

    本文提出了一种基于 Laplacian quadratic 的罚函数的稀疏 Laplacian 收缩（SLS）方法，该方法能在鼓励稀疏性和促进相关预测变量之间平滑性的前提下，具有图表示的广义分组特性，并通过坐标下降算法进行计算。该方法表现优异且拥有选定一致性，适用于高维数据下的变量选择和估计。

    Dec, 2011