这篇研究论文主要讨论了偏最小二乘(PLS)方法及其在标量回归问题中的应用,分析了由 PLS 得到的回归系数向量与普通最小二乘(OLS)方法得到的回归系数向量之间的距离,提供了该距离的上界并展示了其与回归因子协方差矩阵特征值分组数之间的关系。
Dec, 2023
本文提出了一个解决低秩和 / 或稀疏矩阵最小化问题的一般框架,使用迭代重新加权最小二乘(IRLS)方法来解决混合低秩和稀疏最小化问题,例如用于解决 Schatten-p 规范和 ell_2,q-norm 规范的低秩表示问题,理论证明了所获得的解为静止点,并在合成和实际数据集上进行了广泛的实验以证明其有效性。
Jan, 2014
本文介绍了一个拟会泛化误差的具有 Bayesian 框架的 pseudo-label 选择方法 (BPLS),其使用解析近似来选择标签实例,并通过针对高维数据的实证评估来表明其优于传统的 PLS 方法。
Feb, 2023
现代制造价值链需要智能协调公司间的流程,以最大化利润,同时促进社会和环境的可持续性。然而,由于与跨组织数据交换和集成相关的隐私问题,实现基于数据的决策的整合系统级方法目前受到阻碍。我们在这里提出了 Privacy-Preserving Partial Least Squares (P3LS) 回归,一种新颖的联邦学习技术,能够在保护隐私的同时实现组织间数据集成和过程建模。P3LS 使用基于奇异值分解(SVD)的 PLS 算法,并采用由受信任的权威机构生成的可移除随机掩码,以保护每个数据持有者贡献的数据的隐私。我们展示了 P3LS 在由三个参与方组成的假设价值链上垂直集成过程数据以及提高了几个与过程相关的关键绩效指标的预测性能。此外,我们展示了 P3LS 和 PLS 模型组件在模拟数据上的数值等价性,并对前者进行了彻底的隐私分析。此外,我们提出了一种确定贡献数据与问题相关性的机制,从而为量化参与者的贡献奠定基础。
Jan, 2024
提出了一种新的广义多线性回归模型 ——Higher-Order Partial Least Squares (HOPLS),通过将数据投影到潜空间并在相应的潜变量上执行回归,从而预测张量(多维数组)从而解释数据的一系估计模型,该模型通过正交 Tucker 张量的总和来解释数据,正交负载的数量作为控制模型复杂度和防止过度拟合的参数。
Jul, 2012
多视图稀疏拉普拉斯特征映射是一个基于图的方法,通过多次观察数据以构建更强健和信息丰富的高维数据表示,通过稀疏特征分解和优化算法来降低数据维度并获得一个特征集。作者在 UCI-HAR 数据集上进行实验证明即使将特征空间减少 90%,支持向量机(SVM)的错误率仅为 2.72%,且在整体特征空间减少 80% 的情况下 SVM 精度为 96.69%。
Jul, 2023
本文介绍了一种基于结构规则的稀疏估计方法,通过应用不仅仅关注稀疏性,而且可以考虑一些结构化先验知识,这种方法可以处理多种结构的问题。同时,我们还介绍了该方法在无监督学习、非线性变量选择等方面的应用。
Sep, 2011
给定线性监督学习中基于结构稀疏性的正则化实验风险最小化问题,提出了变量子集上欧几里德范数的和来定义正则化稀疏性模型,并提出了前向和后向算法以及高效的主动集算法来解决该问题。分析了最小二乘线性回归在低维和高维情况下的变量选择的一致性。
Apr, 2009
提出一种新的算法来恢复数据,该数据符合多个异构低维结构,并专注于同时为行稀疏和低秩的数据矩阵,该算法能够利用两种结构。
Jun, 2023
本文提出了一种基于 Laplacian quadratic 的罚函数的稀疏 Laplacian 收缩(SLS)方法,该方法能在鼓励稀疏性和促进相关预测变量之间平滑性的前提下,具有图表示的广义分组特性,并通过坐标下降算法进行计算。该方法表现优异且拥有选定一致性,适用于高维数据下的变量选择和估计。
Dec, 2011