关键词high-dimensional regime
搜索结果 - 7
- ICML随机特征和隐式流形模型学习中的泛化误差
使用统计物理学中的复制法，我们针对一个综合数据集，研究了广义线性回归和分类问题，在超参数化和不充分参数化的条件下，为这些问题提供了渐近泛化表现的闭式表达式，特别地，我们展示了逻辑回归的双重下降效应，突显了用正交投影相比随机高斯投影在学习随机 - 随机平滑在可证明鲁棒性中的维数诅咒
该研究论文使用 i.i.d. 平滑分布技术进行随机平滑，证明了在高维度情况下使用该技术，防御不同攻击模型会有一定挑战，并有类似到 isotropic Gaussian 平滑的最优结果。
- 正则化对高维逻辑回归的影响
本文研究了高维情况下正则化逻辑回归（RLR），其中加入了鼓励所需结构的凸正则项。通过求解一组非线性方程组，我们提供了 RLR 性能的精确分析，并获得了各种性能度量的显式表达式。我们进行了广泛的数值模拟，并在各种参数值和问题实例中验证了理论。
- 适应平滑性和稀疏性的贝叶斯回归树集成
使用稀疏感应的 soft decision trees 取代传统的决策树集成方法，可以克服它们的光滑性差和受维度灾难的困扰。在 Bayesian additive regression trees 框架下实现该方法，理论上得到强大的支持，并 - 通过梯度下降学习 ReLU
本文研究学习呈现形式为 $max (0,<w,x>)$ 的修正线性单元（ReLUs）的问题，聚焦于高维场景下，权重向量的维数大于样本数的情形，针对实现可能性模型，展示了投影梯度下降算法在 0 处初始化的线性收敛率，这一结果对于深度架构的动态 - 高维回归中的假设检验： 高斯随机设计模型下的渐近理论
本文探讨了在高维情况下使用 Lasso 估计器进行线性回归分析中，单个回归系数的 p-value 计算问题，证明了随机设计矩阵的问题可通过解偏差的 Lasso 估计器获得计算解，最后通过统计物理中的 Replica heuristics，推 - 稀疏主成分的半定松弛高维分析
本文研究了高维 PCA 问题，通过添加 $k$-sparse 最大特征向量来扰动协方差矩阵，并分析了两种可计算的最大特征向量恢复方法：一种是简单的对角线阈值法，另一种是复杂的半定规划 (SDP) 松弛法，研究结果突出高维推断中计算与统计效率