一个开源的 AutoML 基准测试平台
评估和比较了六种流行的自动机器学习框架在 100 个数据集上的性能,并考虑了时间预算、搜索空间大小、元学习和集成构建等因素对比较的影响,结果揭示了多种有趣的见解。
Apr, 2022
本文介绍了自动化机器学习技术(AutoML)的研究现状,重点评估了多种 AutoML 工具在不同数据集、不同数据段上的表现和优缺点。
Aug, 2019
本文综述了现有的自动机器学习工具,包括开源和商业工具,并阐述了一个评估自动机器学习解决方案在实际应用中表现良好的框架,该框架考虑了各方利益和人机交互。此外,通过对学术和商业案例研究的广泛评估和比较,本综述也评估了 AutoML 在 2020 年代初的主流参与度,并确定了加速未来普及的障碍和机遇。
Nov, 2022
本研究旨在提出可用于机器学习算法基准测试的 OpenML 基准测试集合,以标准化基准测试的设置、执行和报告,并提供一种针对分类任务的基准测试套件:OpenML Curated Classification benchmarking suite 2018。
Aug, 2017
本文介绍了一个可访问、策划和开发的公共基准资源,用于促进不同机器学习方法的优缺点的识别。我们比较了这一资源中当前一组基准数据集的元特征,以表征可用数据的多样性。最后,我们应用了一些已经建立的机器学习方法到整个基准套件,并分析数据集和算法在性能方面是如何聚类的。该工作是了解流行基准套件的限制并开发将现有的基准标准与未来更多样化和有效标准相连接的资源的重要第一步。
Mar, 2017
本文介绍一种新的基准来研究不同的自动机器学习方法如何受标签不平衡的影响。其次,提出了更好地处理不平衡的策略并将它们整合到现有的自动机器学习框架中。最后,对这些策略的影响进行了系统研究,发现它们的加入显著增强了自动机器学习系统对标签不平衡的鲁棒性。
Nov, 2022
提出了一种多准则的 AutoML 系统,优化了用户定义的辅助标准,以引导搜索达到最佳的机器学习流程,以此来满足人工智能应用中不同的需求。
Aug, 2019
本文提出了一种名为 AutoCompete 的高度自动化的机器学习框架,用于应对机器学习比赛,在数据类型、模型选择、超参数调整、避免过拟合和优化等方面具有较高效率,并证明了该系统相较于其他方法需要更少的运行时间并产生更好(或相同)的结果。
Jul, 2015
人工智能和机器学习的广泛应用导致公司难以招聘深入了解这些技术的员工,在此背景下,自动机器学习 (AutoML) 正以一种有希望的解决方案迅速崛起,旨在自动化构建端到端的人工智能 / 机器学习流水线,这通常会由专门的团队成员进行工程设计。本文通过对 12 个端到端自动机器学习工具在两个软件工程数据集上的基准测试和用户调查以及随后的访谈构成的混合方法研究,填补了这些信息缺口,并且发现 AutoML 解决方案可以在软件工程领域的分类任务中生成超过研究人员训练和优化的模型,并且当前可用的 AutoML 解决方案并不能完全支持 ML 开发工作流程的自动化和团队成员的需求。本研究结果为软件工程研究界提供了有关如何利用 AutoML 促进其活动以及工具构建者如何设计下一代 AutoML 技术的见解。
Jul, 2023