评估性能预测模型的泛化能力
该研究通过对各种基准套件的算法性能预测模型的泛化能力进行考察,比较问题集合的统计相似性和基于探索性景观分析特征的性能预测模型的准确性,我们发现这两个指标之间存在着正相关关系。具体来说,当训练和测试套件之间的高维特征值分布缺乏统计显著性时,模型往往能够很好地进行泛化,即测试误差与训练误差处于同一范围内。两个实验证实了这些发现:一个涉及标准基准套件 BBOB 和 CEC 集合,另一个使用了五个由 BBOB 问题实例的仿射组合构成的集合。
May, 2024
本论文研究了基于矩阵分解的预测系统,旨在预测特定数据集上特定模型的分类准确性。通过超过 50 个数据集的全面实证研究,着重于研究三种基础机器学习算法(随机森林、XGBoost 和 MLP)的性能预测,包括粗调和变体微调模型的可预测性,利用特征提取技术实现 MLP 的可预测性,以及使用隐式反馈来预测模型性能。
Apr, 2023
通过算法特征以及一般化观点,我们提出了基于算法特征的算法选择具有可证的保证的第一个模型,并分析了几个因素对一般化误差的影响。我们证明了在复杂的多算法场景中,基于算法特征的模型在一般化方面优于仅依赖问题特征的传统模型,并在分布变化的场景中表现出正相关的一般化误差和训练集与测试集之间的卡方距离。
May, 2024
介绍了一种算法设计范例 —— 基于学习预测器的算法,将在线学习技术应用于预测器学习、调整鲁棒性 - 一致性折中并绑定样本复杂度,在构建优美的预测器的同时,在二分图匹配、滑雪租赁、页面迁移和作业调度等多场景中优化了多个现有结果,且提供了第一批基于学习理论的担保。
Feb, 2022
通过从目标人群中获取的新数据进行模型的外部验证,以确保验证性能的清晰用途和模型的可靠性,同时应该在模型开发期间谨慎调查模型的普适性,以开发并应用可靠、公平和可信的人工智能预测模型。
Apr, 2023
本文探讨了无监督学习发现特征以提高预测模型泛化性能的潜力,并利用视频序列预测方块塔的稳定性,展示了模型训练得出的特征能够支持对超出训练集分布的方块配置进行稳定性预测。
Dec, 2016
本文提出了一种利用标准频率回归模型通过网络架构、超参数和时间序列验证性能数据来预测部分训练模型配置的最终性能的方法,并证明该方法在视觉分类和语言建模领域中是有效的。同时,我们提出了一种早期停止方法,可用于超参数优化和元模建模,加速了模型配置的优化过程,该方法在强化学习 - based 架构选择算法和基于贝叶斯思想的搜索方法中均可无缝集成。
May, 2017
本文提供了一种新颖的量化指标框架,用于解释分类器和回归模型的预测结果,旨在提高人工智能系统的透明度和可信度。应用公开数据集,展示了这些指标如何更全面地理解模型预测,并在决策者和利益相关者之间促进更好的沟通,从而增加人工智能系统的整体透明度和问责度。
Feb, 2023
利用机器学习建模算法的运行时间,对算法分析、自动参数配置等方面有重要应用,本文针对命题可满足性、旅行商问题和混合整数规划等问题,介绍了新的模型和特征,与文献中各种运行时间建模技术进行比较,实证表明本文新模型相比以往方法,具有更好的泛化性和预测准确度。
Nov, 2012
研究探讨了机器学习中的问题,特别是当模型在不同于训练数据的数据上进行测试时,模型很容易出现失败的现象,主要依靠发现数据的因果结构、找到可靠的特征并进行推广算法等方面展开探讨。
Mar, 2021