应用快速权重编程的学习规则以生成自然图像，能够可视化突触学习规则是如何迭代地产生复杂的连接模式，进而产生人类可识别的有意义的图像。

Oct, 2022

研究自指元学习系统，探讨其与环境相关和基于记忆体的元学习的关系，提出一种名为‘fitness monotonic execution’的方法来避免显式元优化，通过分配更多的计算资源使神经网络自我修改来解决控制问题并学习如何学习。

Dec, 2022

本研究发现线性化自注意力机制与 90 年代早期的快速权重控制器存在正式等价，提出了一种基于增量规则编程指令的快速权重编程器，用以克服近期线性化 softmax 注意力变体的存储容量限制，以及提高动态学习率的计算效率，在合成检索问题以及标准机器翻译和语言模型任务上均获得明显优势。

Feb, 2021

提出了一个新型的元强化学习模型，MetODS，利用动态连接权重和突触可塑性来进行连续的自我反思修改，实现了在代理策略空间中高效和强大的控制规则的学习。

Feb, 2022

该研究论文提出了 Meta Self-Refinement (MSR) 框架，用于有效地应对来自弱监督源的噪声标签，从而训练出噪声鲁棒性较强的深度神经网络模型。在八个自然语言处理基准测试中广泛实验，证明 MSR 在所有设置下都能够抵抗噪声，并且在准确率和 F1 分数上优于现有技术最多 11.4% 和 9.26%。

May, 2022

通过在快速和慢速神经网络中加入循环来探索新的变化形式，提出一种新颖的循环快速权重编程模型（RFWPs），并在两个合成算法任务，语言模型和 Atari 2600 2D 游戏环境中评估了模型的效果。

Jun, 2021

通过研究具有线性化注意力的自回归 Transformer，即线性 Transformer（LT）或快速权重编程器（FWP），我们发现许多应用于标准 Transformer 的知名结果可以直接转移到 LTs / FWPs，并证明了最近提出的 FWP 扩展成功地克服了 LT 的某些限制，如在奇偶性问题上的泛化。

Oct, 2023

循环神经网络（RNN）是一种通用的并行 - 顺序计算机，其权重矩阵即为其程序。本研究探讨了针对 RNN 权重的机械主义和功能主义方法，并通过对 RNN 进行询问输入来提取信息，开发了理论框架以确定 RNN 行为。通过比较，评估不同的 RNN 权重编码技术对多个下游应用的影响，发现功能主义方法在最具挑战性的任务中表现出明显优势。

Mar, 2024

通过针对 LSTM 模型进行增强性改进，本文提出了一个新的神经网络模型，命名为快速权重内存 (Fast Weight Memory)，该模型能够根据事实的状态表示进行组合，并生成一个联想推理，以解决在新的环境下出现的问题。该模型通过可微分操作对基础输入序列的每一步进行修改和维护，在不断变化的快速权重内存 FWM 的存储中，来更新和保持复合关系，并通过梯度下降的方法进行端对端的训练。该模型在组合语言推理问题，面向部分可观测的马尔可夫决策问题的元强化学习以及小规模词级语言建模方面表现出了卓越的性能。

Nov, 2020

通过构建具有功能等效性的网络的路径连接集合，将神经网络的权重空间视为弯曲的黎曼流形并沿着功能不变路径将网络移动，同时寻找满足次要目标的网络，通过路径抽样算法，能够训练具有数百万权重参数的神经网络来学习一系列分类任务而不会损失性能，同时适应包括网络稀疏化，增量任务学习和增加对抗强度在内的次要目标。

Apr, 2022