Feb, 2019

深度学习的进化神经自动机器学习

PDF
TL;DR本文介绍一种名为 LEAF 的进化型 AutoML 框架，不仅优化超参数，而且还优化网络架构和大小，实验结果表明优化网络架构比优化超参数显著提高了性能，并且可以在保持性能的情况下最小化网络。LEAF 因此为普及和改进 AI，以及使 AI 在未来的应用中变得实用提供了基础。
deep neural networksautomlevolutionary algorithmsarchitecture optimizationdemocratizing ai
发现论文，激发创造
  • 从零开始进化机器学习算法的 AutoML

    本文旨在通过引入一个新颖的框架，展示 AutoML 可以进一步通过基本数学运算作为构建块自动发现完整的机器学习算法，从而大大减少人类偏见，并通过演化搜索不同类型的任务来适应算法。

    Mar, 2020

  • 图神经网络的进化架构搜索

    本研究提出了一种新的自动化机器学习（AutoML）框架，通过演化图神经网络（GNN）模型来寻找最合适的结构和学习参数，并在半监督和归纳式节点表示学习和分类任务上展示它的性能。

    Sep, 2020

  • 深度神经网络结构和超参数优化的算法框架

    本篇论文提出一种基于演化有向无环图的算法框架，自动生成高效的深度神经网络并优化其相关超参数，与已有文献中的搜索空间相比更具灵活性，能优化网络的结构和超参数，已经在时间序列预测基准测试中得到了实验结果的验证。

    Feb, 2023

  • muNet: 将预训练的深度神经网络进化为可扩展的自动调整多任务系统

    采用预训练深度神经网络层作为基块构建多任务学习系统，通过动态选择相关的先验知识、模型参数和超参数进行自动调优，控制模型规模实现高质量模型与较小的规模之间的权衡，并在 10 个多样化的图像分类任务中，相对于标准调优，提高了平均精度 2.39％而使用了每个任务 47％ 以上的参数。

    May, 2022

  • 通过拉马克进化实现高效的多目标神经架构搜索

    LEMONADE 是一种多目标架构搜索算法，利用进化算法和近似网络同构算子来解决神经网络搜索领域的资源浪费问题，实现了高性能、低资源消耗的自动化神经网络设计。

    Apr, 2018

  • Autostacker: 一种组合进化学习系统

    Autostacker 是一种基于 Evolutionary Algorithm 的自动机器学习建模架构，通过创新的分层堆叠结构快速演化候选流水线，从而找到机器学习模型的创新组合和结构，而无需事先了解数据或特征预处理。与其他自动机器学习系统相比，在 15 个数据集上，Autostacker 在测试准确性和时间成本方面均实现了领先或竞争性的表现。

    Mar, 2018

  • 控制任务中的循环架构的神经进化

    该研究提出了一种新方法，即利用少量的突变规则来动态演化循环神经网络的结构，其结果表明，这种方法可以在大多数情况下匹配或超过梯度下降方法的性能，同时使用数量级更少的参数，该方法有望在对网络紧凑性和自主设计至关重要的实际应用方面开辟新的途径。

    Apr, 2023

  • EvoAAA: 一种用于自动神经自编码器架构搜索的进化方法

    该论文提出了一种基于进化方法的自动化自编码器架构搜索过程，通过测试证明了该方法在九个异构数据集上的可行性和较好的结果。

    Jan, 2023

  • 使用转移学习的多目标进化剪枝深度神经网络以提高其性能和鲁棒性

    提出一种名为 MO-EvoPruneDeepTL 的多目标进化修剪算法，利用转移学习将深度神经网络的最后层替换为稀疏层，通过性能、复杂度和稳健性引导演化，实验结果表明该算法在所有目标方面都取得了有前途的结果，且网络修剪带来的影响有助于解释输入图像对于修剪神经网络预测最为相关的部分。最后通过利用不同修剪模型的集合显示整体性能和鲁棒性的提高。

    Feb, 2023

  • 局限严重应用中的自动机器学习

    本文提出了一种名为 Caml 的元学习方法，可以自动适应其自身 AutoML 参数，以优化特定任务的高性能管道，并可以考虑用户定义的应用约束条件，以获得满足约束条件的高预测性能的管道。

    Jun, 2023