堆叠回归的误差减少
该论文研究了解决了众多机器学习和统计模型的困境,预设了一种新模型,即随机线性组合的非线性回归模型,并提出了能够高效可扩展地进行模型估算的研究成果,给出了多个基于不同假定前提的算法构建方法,并展示了相关实验结果。
Oct, 2020
我们提出了一种基于预测分布的 Stacking 方法,利用 Pareto-smooth 重要性采样计算所需的单次观察后验分布和正则化以获得更好的稳定性,比较结果表明我们的方法在计算成本可接受的情况下优于其它方法。
Apr, 2017
该研究提出了一种基于机器学习的线性技术 FWLS(Feature-Weighted Linear Stacking),该技术能够结合元特征来提高预测精度,保持速度,稳定性和可解释性,并在 Netflix 电影推荐比赛中取得第二名,相较于标准的线性堆叠方法显示出了显著的提高。
Nov, 2009
本文采用贝叶斯回归法建模时间序列,并堆叠不同的预测模型,使其能够估计时间序列预测不确定性和风险特征,同时探讨使用贝叶斯回归的层次化模型来应对历史数据短、数据变化不明显的销售预测问题。结合 ARIMA, 神经网络,随机森林和 Extra Tree 模型进行预测,利用二层的贝叶斯回归法通过估计回归系数的分布进行信息融合,以最终预测的风险做决策支持。
Jan, 2022
插值器不稳定,论文研究了集合稳定如何改善插值器的泛化性能,Bagging 作为一种随机化集合方法能够并行实现,通过引入基于乘法自助法的 Bagged 最小二乘估计器,对最小二乘估计器求平均,得到该方法。该文进一步探讨了 Sketching 和 Bagging 对样品内外预测风险的影响,并发现 Bagging 作为一种形式的隐式正则化手段,能够有效减小方差。
Sep, 2023
使用理论分析方法,我们证明了从有限或有限维族中选择最佳堆叠综合的交叉验证方法不会比最佳方案表现差得多,进一步提出了一种特定的堆叠综合族在概率预测中的应用,并通过实验结果证明了所提出方法的性能提高。
May, 2023
本文介绍了使用堆叠生存模型来预测生存函数,该模型通过优化预测误差,联合使用参数化、半参数化和非参数化生存模型来获得更好的预测性能,具有适应性、准确性和灵活性,适用于小样本且可避免低偏差带来的方差大的问题。
Sep, 2013
通过使用带有二次希尔伯特范数的凸经验风险正则化的学习方法,我们考虑了线性预测器和非线性预测器的设置,同时包括正定核。针对这类损失,作者提出了一种偏差 - 方差分解思路,并通过改善偏差项、方差项或二者同时来快速逼近渐进速率,从而实现在减小自相近损失假设下的非高斯预测器更快速的收敛效果。
Feb, 2019