通过针对 LSTM 模型进行增强性改进，本文提出了一个新的神经网络模型，命名为快速权重内存 (Fast Weight Memory)，该模型能够根据事实的状态表示进行组合，并生成一个联想推理，以解决在新的环境下出现的问题。该模型通过可微分操作对基础输入序列的每一步进行修改和维护，在不断变化的快速权重内存 FWM 的存储中，来更新和保持复合关系，并通过梯度下降的方法进行端对端的训练。该模型在组合语言推理问题，面向部分可观测的马尔可夫决策问题的元强化学习以及小规模词级语言建模方面表现出了卓越的性能。
Nov, 2020
本研究探讨了单词级别的语言建模任务，并研究了将基于隐藏状态的短期表示与编码在语言模型的动态权重中的中期表示相结合的可能性。我们将语言建模问题转化为在线学习框架，并通过梯度下降训练元学习器以连续更新语言模型权重，扩展了最近在动态演化权重的语言模型上的实验。
Mar, 2018
本研究提出了一种广义神经网络，其中神经元和突触维护多个状态，通过基于链式法则的二值网络来推导出更新规则，并使用共享的低维 “基因组” 进行参数化，证明了该方法的泛化性和训练速度优于梯度下降优化器，可用于计算机视觉和合成任务。
Apr, 2021
文章介绍了如何通过深度神经网络的元学习，分集记忆以及明确的多模态环境来实现迅速绑定，提供了人类认知发展的基本支柱和与人类用户交互的代理的一个潜在的转变能力。
Sep, 2020
本文提出了一种模型无关的元学习算法，通过少量的训练样本，使用梯度下降算法来训练模型的参数，实现了对新学习任务的快速调整和学习，导致在少量图像分类、回归和神经网络政策优化方面表现出最先进的性能。
Mar, 2017
提出了一个受海马体和前额叶皮质启发的生物学上可行的元学习模型，其使用尖峰神经网络和基于奖励的学习系统来实现在低数据条件下的快速学习并避免了灾难性遗忘，并且可以轻松地应用于脉冲神经形态学设备和在 few-shot 分类任务中展示了其与现有技术的竞争力。
Jun, 2023
受生物神经元可塑性启发，我们提出了一种搜索方法，通过寻找突触特异的赫比学习规则，使网络能在智能体的生命周期内持续自组织其权重，从而实现在一些强化学习任务中取得成功，同时对多种感官模态处理方式具有适应性。
Jul, 2020
本文介绍了一种新的元学习方法 Meta Networks（MetaNet），它通过快速参数化学习跨任务的元级知识，并在新概念上进行快速泛化，同时保持了以前所学的性能表现，在 Omniglot 和 Mini-ImageNet 基准测试中，我们的 MetaNet 模型实现了接近人类水平的表现，并在准确性上优于基线方法高达 6％。我们展示了 MetaNet 的几个有吸引力的性质，如泛化和持续学习。
本研究使用深度神经网络和度量学习的思想，建立了一种学习新概念的框架，从而不需要微调以适应新的类别类型，并在视觉和语言任务中定义了一次性学习问题，实验结果表明，在 Imagenet 数据集上，准确率从 87.6% 提高到 93.2%，在 Omniglot 数据集上，准确率从 88.0% 提高到 93.8%。
Jun, 2016
本研究使用元学习发现网络如何利用反馈机制和本地、仿生学习规则，以进行在线信用分配，并超越了现有的基于梯度的算法在回归和分类任务方面的性能，特别是在持续学习方面表现优异，结果表明存在一类生物可行的学习机制，不仅匹配梯度下降，而且还克服了其局限性。
Jun, 2020