循环独立机制的快速与慢速学习

ICLRMay, 2021

Fast and Slow Learning of Recurrent Independent Mechanisms

Kanika Madan, Nan Rosemary Ke, Anirudh Goyal, Bernhard Schölkopf, Yoshua Bengio

TL;DR将知识分解成可交替使用的部分可在分布变化时带来泛化优势，而采用特定的模块化学习方法和自适应机制以及元学习可以实现更快的适应。

Abstract

decomposing knowledge into interchangeable pieces promises a generalization advantage when there are changes in distribution. A learning agent interacting with its environment is likely to be faced with situations requiring novel combinations of existing pieces of knowledge. We hypothe

decomposing knowledge generalization advantage modular learning attention mechanisms meta-learning

发现论文，激发创造

学习解离因果机制的元转移目标

利用元学习方法，基于快速适应新分布的速度，学习因果结构，包括因果关系的参数化，模块化和编码等方面，以提高对非标准干预的快速适应能力和降低重学需要的信息量。

Jan, 2019

模块化元学习

本文提出了一种学习一组神经网络模块并以不同方式组合的策略，并通过重复使用模块来实现组合概括，提高机器人相关问题的性能。

Jun, 2018

递归独立机制

本篇文章介绍了一种全新的循环神经网络结构 RIMs，该结构可学习反映环境动态的模块化特征，具有更好的泛化性和适应性，通过对 RIMs 的专业化策略，可以在某些变量因素在训练和测试过程中发生系统性变化的任务上实现显著的改进。

Sep, 2019

学习，快与慢：面向动态环境的目标导向基于记忆的方法

本研究针对基于模型的下一状态预测和状态价值预测收敛缓慢的问题，使用并行内存检索系统进行基于模型的规划，使用神经网络指导代理的行为，通过基于目标的探索在线训练，取得了 92% 的解决率，显示出 RL 模型应用于目标和子目标规划的未来。

Jan, 2023

多任务学习中的模块化技能组合

通过模块化设计并学习潜在的离散技能，该研究在多任务强化学习和少样本学习中实现了更高的样本效率和解释性。

Feb, 2022

带缩减的模块化元学习

提出了一种能够自动发现并学习任务特定和通用可重用模块的元学习方法，以实现针对低数据任务的长时间自适应模型，适用于少样本 TTS 等通常存在少量数据和长时间自适应问题的领域，并在实验证明其表现优于现有元学习方法，包括 MAML，iMAML 和 Reptile。

Sep, 2019

从少量且带有噪声的数据中快速持续学习

本文研究神经网络存在的遗忘问题以及连续学习的解决方案，通过重放机制和元学习的结合，发现引入元学习可以解决传统重放机制在每个任务分配的内存有限时容易导致失效的问题，并在保证学习效率和准确性方面具有优势。

Mar, 2021

在线快速适应和知识积累：一种新的连续学习方法

在研究中，提出了一个更普遍的场景 OSAKA，即代理人必须快速解决新的（分布外）任务，并快速回忆起以前的任务。作者提出了 Continual-MAML 作为强有力的基准线，并在实验中证明，它比其他方法更适合新情况。

Mar, 2020

增强元学习范式的简单而有效策略

元学习是一种有前途的范式，可以实现任务之间的技能迁移。此论文从分布鲁棒的角度优化元学习流程，并用预期尾风险的度量来元训练模型，提高元学习对任务分布的鲁棒性并减少最坏快速适应风险的条件期望。

Oct, 2023

基于层级专家网络的元学习

该论文提出了一种信息论的元学习模型，通过优化划分学习任务，使得专业的决策者解决子问题，从而达到高效的适应新任务的效果，在图像分类、回归和强化学习三个元学习领域进行验证。

Oct, 2019