分类和回归问题中潜在模型性能提升的范例：概念验证
本研究提出了一种可以估算算法性能预测模型泛化能力的方法，并通过在基准测试套件之间训练预测模型来测试该方法的可行性，结果表明，特征空间中的泛化模式确实反映在性能空间中。
May, 2023
该研究通过对各种基准套件的算法性能预测模型的泛化能力进行考察，比较问题集合的统计相似性和基于探索性景观分析特征的性能预测模型的准确性，我们发现这两个指标之间存在着正相关关系。具体来说，当训练和测试套件之间的高维特征值分布缺乏统计显著性时，模型往往能够很好地进行泛化，即测试误差与训练误差处于同一范围内。两个实验证实了这些发现：一个涉及标准基准套件 BBOB 和 CEC 集合，另一个使用了五个由 BBOB 问题实例的仿射组合构成的集合。
May, 2024
机器学习和深度学习模型在教育领域中非常重要，尤其是在预测学生成功方面。本研究通过使用九种不同的解释方法并进行综合分析，探索这些方法在生成解释过程中之间的一致性与预测模型性能之间的相关性。运用 Spearman 相关性分析，我们的发现显示模型的性能与解释方法之间的一致性水平存在非常强的相关性。
May, 2024
本文提出了一种利用标准频率回归模型通过网络架构、超参数和时间序列验证性能数据来预测部分训练模型配置的最终性能的方法，并证明该方法在视觉分类和语言建模领域中是有效的。同时，我们提出了一种早期停止方法，可用于超参数优化和元模建模，加速了模型配置的优化过程，该方法在强化学习 - based 架构选择算法和基于贝叶斯思想的搜索方法中均可无缝集成。
May, 2017
通过理论分析比较预测方法与提升建模方法，本论文针对二进制结果和二进制操作案例，从理论基础出发，重点讨论了提升建模方法的性能影响因素，研究贡献包括利润度量的新形式、提升曲线收敛于利润度量的正式证明以及在模拟中证明预测方法仍然优于提升建模的条件。特征和结果之间的信息互信息、估计器的方差、潜在结果的分布以及治疗和结果的成本与收益的底层因素发挥着重要作用。
Sep, 2023
本论文研究了基于矩阵分解的预测系统，旨在预测特定数据集上特定模型的分类准确性。通过超过 50 个数据集的全面实证研究，着重于研究三种基础机器学习算法（随机森林、XGBoost 和 MLP）的性能预测，包括粗调和变体微调模型的可预测性，利用特征提取技术实现 MLP 的可预测性，以及使用隐式反馈来预测模型性能。
Apr, 2023
训练具有缺失条目的预测模型时，我们可以利用两阶段自适应优化问题来处理缺失数据，并提出了一种新类模型，即自适应线性回归模型，其中回归系数根据观测特征进行自适应。我们展示了一些自适应线性回归模型等价于同时学习一个填充规则和一个下游线性回归模型，而不是顺序学习。我们利用这种联合填充 - 回归解释来推广我们的框架到非线性模型。在数据不随机缺失的情况下，我们的方法可以提高 2-10% 的样本外准确率。
Feb, 2024
通过使用高斯过程模型，我们提出了一种方法，可以在数据集大小增加时获取关于准确性或类似性能指标的概率推断，通过在六个数据集上的评估，我们发现我们的方法在错误、可能性和覆盖范围方面表现出色。
Nov, 2023
介绍了一种算法设计范例 —— 基于学习预测器的算法，将在线学习技术应用于预测器学习、调整鲁棒性 - 一致性折中并绑定样本复杂度，在构建优美的预测器的同时，在二分图匹配、滑雪租赁、页面迁移和作业调度等多场景中优化了多个现有结果，且提供了第一批基于学习理论的担保。
Feb, 2022