本篇研究提出了自适应神经进化 (SANE) 方法以自动构建不同任务的轻量 DNN 结构，其中关键的设置是为不同的 DNN 类型定义的细胞和器官的搜索空间。 SANE 能够自适应地调整演化探索和利用以提高搜索效率，并提供了一种大规模且性能出众的 DNN 架构搜索的有效方法。

Nov, 2022

提出了一种灵感来自人脑神经调节过程的元学习算法 —— 一种神经调节的元学习算法（ANML)，可以在不会忘记先前知识的情况下，领会许多顺序有序的任务，通过其良好的选择功能来启用上下文依赖性的选 择性激活，可以在一个规模上进行连续学习，获得业界最优秀的连续学习表现。

Feb, 2020

在连续决策任务的领域中，强化学习代理的探索能力对于通过与环境的交互获得高回报至关重要。为增强这一关键能力，我们提出了 SAQN，一种新颖的方法，其中包含了一个自进化自编码器（SA）和一个 Q 网络（QN）。在 SAQN 中，随着代理对环境的探索，自进化自编码器架构会自适应和进化。这种进化使得自编码器能够在潜在空间中有效捕捉各种原始观测，并对其进行有效表示。通过利用从编码器生成的潜在空间中提取的解缠态，QN 被训练以确定改善回报的最优动作。在自编码器架构的进化过程中，采用了一种偏差 - 方差调节策略，以使强化学习代理产生最佳响应。该策略包括两个关键组成部分：（i）促进节点的增长以保留先前获得的知识，确保对环境的丰富表示，以及（ii）修剪贡献最小的节点，以保持更可管理和可跟踪的潜在空间。在三个不同的基准环境和一个真实的分子环境上进行了广泛的实验评估，结果显示了所提出的 SAQN 在性能上明显优于现有技术。这些结果突显了自进化自编码器及其与 Q 网络合作在处理连续决策任务中的有效性。

Feb, 2024

持续学习中的难题是灾难性遗忘，特别是在人工神经网络（ANNs）等无监督架构中，我们提出了一种称为连续自组织映射（CSOM）的泛化模型来解决这一问题。CSOM 在低内存预算下实现在线无监督学习，在多个基准测试中获得了准确性提高近两倍以及用于自动类别增量学习设置的最新技术成果。

Feb, 2024

通用学习系统应在不断变化的环境中以开放式方式不断改进自己。本文提出一种自动连续学习 (ACL) 的方法，通过训练自指神经网络来元学习其上下文中的连续学习算法，以解决传统神经网络学习算法中的 “上下文灾难性遗忘” 问题。ACL 有效地解决了这个问题，并且其学习到的算法表现优于手工设计的算法，在无回放设置下，在 Split-MNIST 基准测试上实现了持续学习多个少样本和标准图像分类数据集的目标。

Dec, 2023

本论文提出了一种称之为强化连续学习的方法，该方法通过巧妙设计的强化学习策略为每个任务搜索最佳神经架构，不仅能够在防止灾难性遗忘方面有很好的性能，还能够适应新任务。在 MNIST 和 CIFAR-100 数据集的连续分类任务实验中，该方法优于现有的深度网络连续学习替代方案。

May, 2018

本文研究了使用突触模型可以减轻人工神经网络中存在的 “灾难性遗忘” 现象，从而实现多时间尺度的持续学习并减少经验回放数据库在任务内的遗忘。

Feb, 2018

本论文研究了使用 Progressive Networks 这种方法来解决转移学习和遗忘问题，通过提出新的敏感性测量方法来评价该方法在各种强化学习任务上的表现，并表明它优于基于预训练和微调的常见基线。

Jun, 2016

本文提出了使用连续学习方法在低成本家用机器人上学习技能的方法，并使用 Attention-Based Interaction Policies 作为支撑，仅使用每个任务的少量示例即可完成学习。

Jun, 2023

提出了一种名为 CLEAS 的新方法，通过与神经结构搜索（NAS）紧密协作，旨在解决神经网络连续学习所面临的挑战：克服灾难性遗忘问题，适应新任务，同时控制其模型复杂度，并通过在神经元层次上设计 NAS 控制器来加强知识转移，以实现更高的分类准确度和更简单的神经网络结构。

Jun, 2020