KDDJun, 2020

基于矩阵和张量分解的高效自动机器学习流水线搜索

PDF
TL;DR本文提出了一种新的 AutoML 系统，利用矩阵和张量分解作为代理模型，通过贪心实验设计协议来高效收集有关新数据集的信息，从而解决数据科学家在选择适当的监督式学习模型时面临的挑战。经过对大型实际分类问题的实验，证明了这种方法的有效性。
supervised learningautomlpipeline designmatrix and tensor factorizationclassification problems
发现论文，激发创造
  • 自动化机器学习的概率矩阵分解

    本文提出结合协同过滤和贝叶斯优化的方法，利用概率矩阵分解和贝叶斯优化选取数据预处理方法和机器学习模型，以自动化地完成机器学习管道的选择和调整任务，实现了在多个数据集上大幅超越现有最佳方法的性能。

    May, 2017

  • SapientML: 通过从人类编写的解决方案中学习来综合机器学习流水线

    本文提出了一种名为 SapientML 的自动机器学习技术，通过从现有数据集中学习人类编写的管道，实现针对新数据集的高质量管道的快速生成，采用了一种三阶段程序合成方法来进行搜索空间的有效管理。评估结果表明，在 41 个基准数据集中，SapientML 在 27 个基准数据集上的表现最佳或与最佳工具相当。

    Feb, 2022

  • 自适应贝叶斯线性回归在自动化机器学习中的应用

    本文提出了一种元学习方法，利用先前的元数据自动搜索高性能的机器学习管道以完成模型选择和超参数优化，该方法结合自适应贝叶斯回归模型、神经网络基函数和贝叶斯优化的收获函数，能够在监督分类数据集上高效地搜索预定义的候选管道，实验结果表明，该方法在一系列测试数据集上能够快速确定高性能的机器学习管道，并胜过基线方法。

    Apr, 2019

  • AutoML 的深度管道嵌入

    本文提出一种新的神经架构，将 Machine Learning pipeline 的组件嵌入到潜在表示中，通过 Bayesian Optimization 机制中的深度内核高斯过程模型在 meta-datasets 上搜索优化最优的 pipeline 嵌入，实验结果表明 pipeline 嵌入可以在 Pipeline Optimization 中取得最优结果。

    May, 2023

  • 通过基于树的管道优化自动化生物医学数据科学

    介绍了基于树形管道优化的自动化机器学习流程设计的概念，并通过实验验证了其有效性和实用性，具有挑战性和实用性的研究。

    Jan, 2016

  • 基于张量分解的多药联合副作用预测

    药物联合使用引起的不良反应是现代医学中一个日益普遍的现象，对其准确预测的挑战至关重要。尽管存在大量计算方法来解决这个问题，但由于问题的多项式特性，仅依靠实验室的方法无法满足需求。我们将三种张量分解模型应用于基准数据集，与现有技术进行比较，发现与先前的报告相反，在此任务中，张量分解模型与最先进的图神经网络模型具有竞争力，因此建议未来的研究在运行昂贵的深度学习流程之前考虑更廉价的具有线性复杂度的方法。

    Apr, 2024

  • 基于 ADMM 的 AutoML 管道配置框架

    提出了一种基于 ADMM 的 AutoML 框架，可以将优化问题分解为易于处理的子问题，并整合黑箱约束以及优化目标函数。在 UCI ML 和 OpenML 数据集上的实验表明，相比其他的 AutoML 方法，该框架具有更大的灵活性、更高的效果和独特的能力。

    May, 2019

  • 自动 FP：针对表格数据的自动特征预处理的实验研究

    通过分析 15 种算法在 45 个公开的机器学习数据集上的综合评估和分析，研究表明 Auto-FP 问题可以用超参数优化 (HPO) 或神经架构搜索 (NAS) 问题来建模，演化算法在平均排名上表现最好，随机搜索是一个强有力的基准线，许多基于代理模型和赌博算法搜索的算法并没有超过随机搜索在 Auto-FP 方面的性能。

    Oct, 2023

  • 多项式网络和因子分解机：新见解和高效训练算法

    本文从统一的视角重新审视了多项式网络和分解机模型，提出了高效训练算法，并将参数学习作为低秩对称张量估计问题进行求解。在回归和推荐系统任务中展示了我们的方法。

    Jul, 2016

  • 协同过滤的高效数据特定模型搜索

    本文提出了一种使用 AutoML 技术设计特定于数据的 CF 模型的新框架，其中关键是将 SOTA CF 方法统一为输入编码、嵌入函数、交互函数和预测函数的不相交阶段，以及使用随机搜索和性能预测器的易于使用、强大且高效的搜索策略。在五个真实数据集上的广泛实验表明，我们的方法可以在各种 CF 任务上始终优于 SOTA 方法，搜索到的 CF 模型还可以为探索更有效的方法提供启示。

    Jun, 2021