RF+clust 用于留一问题外性能预测
本研究提出了一种改进的 RF + clust 方法,通过调整基于距离的权重与回归模型的特征相关性来解决 LOPO 问题,并在 CEC 2014 基准套件上实验证明了其优越性。
May, 2023
通过研究我们发现,在机器学习模型的性能评估中,交叉验证方法会引入分布偏差现象,导致性能评估及超参数优化受到负面影响。为了解决这个问题,我们提出了一个通用的校正分布偏差的交叉验证方法,并通过合成模拟和多个已发布的实验验证结果。
Jun, 2024
本研究提出了一种可以估算算法性能预测模型泛化能力的方法,并通过在基准测试套件之间训练预测模型来测试该方法的可行性,结果表明,特征空间中的泛化模式确实反映在性能空间中。
May, 2023
通过利用随机森林模型中的特征空间中的点之间的相似性,我们提出了一种新的方法来解释随机森林的样本外表现,这使得随机森林的预测可以准确地重写为训练数据点目标标签的加权平均值,并为模型预测生成任何观测的归因,从而补充了 SHAP 等现有的针对模型预测在特征空间维度上生成的归因的方法。我们在美国公司债券交易的债券定价模型的背景下演示了这种方法,并将其与各种现有的模型可解释性方法进行了比较。
Oct, 2023
研究高维环境下的样本外风险估计问题,介绍了一种计算效率高的闭式近似留一法,适用于大多数正则化估计器,并通过理论分析和实验数据验证了其优秀的绩效表现和实际应用的可行性。
Jan, 2018
本文提出 COnfidence-baSed MOdel Selection(CosMoS)方法,基于模型置信度动态选择不同强度的模型来在多数和少数子群体上实现高性能,并使用多个数据集验证其性能。
Jun, 2023
模型推理是模型开发的重要部分,Leave-one-out 交叉验证方法在评估模型泛化能力方面普遍适用,但是不适用于大型数据集。我们提出了一种结合近似推理技术和大小为概率比例采样的方法,用于快速评估大型数据集的 LOO 模型,提供了理论和实证结果来说明其性能优良。
Apr, 2019