May, 2022

可微架构与遗忘搜寻的增量学习

PDF
TL;DR本文提出了一种基于 DARTS 和最先进的增量学习策略的增量学习强基准方法，并将架构搜索的思想扩展到正则化架构遗忘，从而在 RF 信号和图像分类任务中实现性能的显著提升，取得了比现有方法高出 10％的结果。
incremental learningneural architecture searchclassification tasksdifferentiable architecture searchperformance gains
发现论文，激发创造
  • 让可微架构搜索更少局部化

    本研究针对 DARTS 的性能崩溃问题，提出采用更全局的优化方案，以更好地探索神经结构搜索空间，从而发现测试性能更佳、参数更少的神经网络架构。

    Apr, 2021

  • Progressive DARTS: 在野外框架中弥合 NAS 的优化差距

    本篇论文提出了一种名为 P-DARTS 的算法来解决神经网络架构搜索中的 transfer learning 问题，并在 CIFAR10 数据集以及几个目标问题（包括 ImageNet 分类，COCO 检测和三个 ReID benchmarks）上实现了更好的性能。

    Dec, 2019

  • 可微架构搜索：DARTS

    本文介绍了一种基于可微分的连续松弛方法来应对体系结构搜索的可扩展性挑战，该方法可在 CIFAR-10、ImageNet、Penn Treebank 和 WikiText-2 等数据集中快速搜索高性能的卷积体系结构和循环体系结构。

    Jun, 2018

  • 通过近端迭代实现高效神经网络架构搜索

    本文提出了一种基于纵向梯度下降的可微分神经结构搜索方法（称为 NASP），其通过将搜索过程重新构成为一个优化问题，并在前向和反向传播期间仅允许更新一个操作的约束条件下，以 10 倍于 DARTS 方法的计算时间加速获得高性能的架构。

    May, 2019

  • DrNAS: Dirichlet 神经架构搜索

    该研究论文提出了一种新的可微分架构搜索方法，通过分布学习问题来加以实现，并将连续松弛的架构混合权重视为随机变量，以 Dirichlet 分布进行建模，通过路径导数优化 Dirichlet 参数，并采用渐进学习方案消除了不同 iable NAS 的大内存消耗，在 CIFAR-10、ImageNet 和 NAS-Bench-201 等几个数据集上取得了最先进的结果。

    Jun, 2020

  • 1000 篇论文中的神经架构搜索 Insights

    过去十年，深度学习的发展在计算机视觉、自然语言理解、语音识别和强化学习等多个领域取得了重大突破。神经架构搜索是自动化机器学习的必然发展方向，已经在很多任务上超过了最好的人类设计架构。本文概述不同的搜索空间、算法和加速技术，并介绍了基准、最佳实践、其他综述和开放源代码库。

    Jan, 2023

  • 可微分 NAS 中的架构选择再思考

    本文介绍了一种替代基于权重参数选择最大操作的 NAS 体系结构选择方法，并通过实验证明这种方法可以提取出更好的架构，并且可以纠正 DARTS 中部分失败模式。

    Aug, 2021

  • 高效的连续学习架构搜索

    提出了一种名为 CLEAS 的新方法，通过与神经结构搜索（NAS）紧密协作，旨在解决神经网络连续学习所面临的挑战：克服灾难性遗忘问题，适应新任务，同时控制其模型复杂度，并通过在神经元层次上设计 NAS 控制器来加强知识转移，以实现更高的分类准确度和更简单的神经网络结构。

    Jun, 2020

  • 公平可微分神经网络架构搜索与自监督学习的长尾数据

    近期人工智能的进展将深度学习作为计算机视觉、数据挖掘和自然语言处理等领域的关键技术。本文探讨了提高 NAS 在长尾数据集上搜索和训练性能的方法，特别关注了 SSF-NAS 这一现有方法，通过集成自监督学习和公平可微分 NAS，在长尾数据集上取得更好的性能。

    Jun, 2024

  • 使用神经架构搜索和早期停止的图像分类中的两阶段架构微调

    本文介绍了利用预训练神经网络和基于神经体系结构搜索的两阶段微调概念，使用突变方法和提前终止搜索等策略，实验结果表明我们的方法减少了 32.4％的计算成本和 22.3％的搜索成本。

    Feb, 2022