高斯图模型结构学习中交叉验证的不一致性
本文介绍一种在高斯图形模型中提取结构变化的有效学习策略,运用基于 l1 正则化的凸优化解决该问题,并通过块坐标下降算法实现该策略。在此基础上,我们将其应用于不同条件下的基因调控网络模拟,并获得了有前途但切合生物学的结果。
Mar, 2012
研究估计协方差超参数的最大似然(ML)和交叉验证(CV)方法, 结果发现 CV 方法在协方差函数被错误指定时表现更好,但当模型被很好指定时,ML 更优。进一步将单参数情况扩展到了估计具有协方差函数的超参数的情况。
Jan, 2013
本文研究了用于高斯图模型种反向协方差矩阵的稀疏性,说明了贝叶斯信息准则在变量数和样本大小呈线性增长情况下的一致性,并验证了其在与高斯套索结合使用时的性能。
Nov, 2010
该文介绍了如何使用 lasso 算法来进行高维稀疏图的协方差无关估计,实现了变量选择,并控制了图中误连接不同的连通分量的概率,最终实现了稀疏图的一致性估计。
Aug, 2006
研究了隐变量图模型中的结构估计问题,提出了一种计算高效且保证正确性的方法,并应用于局部树状结构的模型及相关衰减的模型,特别地,对于伊辛模型,该方法能与采样要求的下界接近。
Mar, 2012
分析了在高维最小二乘回归中应用的广义交叉验证(GCV)和留一交叉验证(LOOCV)的统计特性,证明了 GCV 作为早期停止梯度下降的预测风险估计量普遍不一致,而 LOOCV 则沿着梯度下降轨迹一致收敛于预测风险。利用个别 LOOCV 误差,构建了整个梯度下降轨迹上预测误差分布的一致估计量和广泛的误差函数的一致估计量,这特别使得基于 GD 迭代的路径预测区间在培训数据条件下具有渐近正确的名义覆盖率。
Feb, 2024
本研究探讨了连续优化在有向无环图结构学习中表现良好和表现不佳的情况及原因,并提供了可能的改进方向。研究发现,非等噪声方差情况下存在非凸性问题,而连续结构学习的最新进展未能在此情况下实现改进。因此,未来研究应考虑非等噪声方差以处理更广泛的设置并进行更全面的实证评估。
Apr, 2023
本文探讨了离散图模型结构与广义协方差矩阵逆矩阵的关系,证明了对于某些图结构,指示变量的逆协方差矩阵的支撑集反映了图的条件独立结构,并提出了一种新的方法来估计缺失或受损观测值的结构,给出了这些方法的非渐近性保证并通过模拟说明了这些预测的精度。
Dec, 2012
本文研究岭回归的三个基本问题:估计器结构、正确使用交叉验证选择正则化参数以及如何在不损失过多精度的情况下加速计算。我们在一个统一的大数据线性模型下考虑了这三个问题。通过将岭回归精确表示为真实参数和噪声的协方差矩阵相关的线性组合,我们研究了 $K$- 折交叉验证选择正则化参数的偏差,并提出了一种简单的偏差校正方法。我们分析了原始和对偶草图在岭回归中的准确性,并以模拟和实证数据分析为例说明了我们的结果。
Oct, 2019