本研究提出了一种新颖的连续体系结构搜索方法和一种基于多任务学习的组合单元结构搜索方法，通过块稀疏性和正交性约束实现连续的进化学习，同时通过联合控制器奖励实现学习到的单元结构在多个任务上的优秀表现，成功应用于句子对分类和视频字幕生成等多领域任务中。

Jun, 2019

本论文提出了一种称之为强化连续学习的方法，该方法通过巧妙设计的强化学习策略为每个任务搜索最佳神经架构，不仅能够在防止灾难性遗忘方面有很好的性能，还能够适应新任务。在 MNIST 和 CIFAR-100 数据集的连续分类任务实验中，该方法优于现有的深度网络连续学习替代方案。

May, 2018

这篇论文是第一篇广泛的综述文章，阐述了人工神经网络、持续学习和自动机器学习之间的交叉领域，并提出了各种方法以促进完全自动化和神经网络的终身可塑性。

Jun, 2022

本文研究网路架构设计对连续学习的影响，以通过网络宽度、深度和组件等方面的系统性研究，提出了一种 CL 友好的网络架构设计方法，该方法在参数方面比传统的 CL 架构紧凑 86%，61% 和 97% 的参数，在 Class IL 和 Task IL 方面实现了最新的连续学习性能。

Apr, 2024

本文提出了一种基于 DARTS 和最先进的增量学习策略的增量学习强基准方法，并将架构搜索的思想扩展到正则化架构遗忘，从而在 RF 信号和图像分类任务中实现性能的显著提升，取得了比现有方法高出 10％的结果。

May, 2022

本研究证明了架构的选择对不断学习的性能有显著影响，不同的架构在记忆以前的任务和学习新任务之间存在不同的权衡。此外，本研究研究了各种架构决策的影响，提出了可以改善不断学习性能的最佳实践和建议。

Feb, 2022

过去十年，深度学习的发展在计算机视觉、自然语言理解、语音识别和强化学习等多个领域取得了重大突破。神经架构搜索是自动化机器学习的必然发展方向，已经在很多任务上超过了最好的人类设计架构。本文概述不同的搜索空间、算法和加速技术，并介绍了基准、最佳实践、其他综述和开放源代码库。

Jan, 2023

该论文介绍了使用强化学习和一次性训练为指导原则的自动神经架构搜索框架 DQNAS，用于生成具有优越性能且具有最小可扩展性问题的神经网络架构。该框架可以减少设计卷积神经网络的时间和测试成本。

Jan, 2023

研究使用神经结构搜索（NAS）算法通过对 loss landscape 以及 gradient information 的分析，发现其倾向于选择使用 wide and shallow cell structures 的架构，虽然这些架构具有快速收敛的优势，但不一定能获得比其他架构更好的泛化性能。因此，有必要修正现有的 NAS 算法。

Sep, 2019

本文对神经网络结构自动设计的算法 —— 神经架构搜索进行了全面的综述与研究，提出了对早期算法的问题的总结和解决方案，并对这些工作进行了详细的比较和总结。文章最后给出了可能的未来研究方向。

Jun, 2020