Backpropamine: 使用可微神经调节可塑性训练自修改神经网络

ICLRFeb, 2020

Backpropamine: 使用可微神经调节可塑性训练自修改神经网络

Backpropamine: training self-modifying neural networks with differentiable neuromodulated plasticity

Thomas Miconi, Aditya Rawal, Jeff Clune, Kenneth O. Stanley

TL;DR本文研究表明，神经可塑性的神经调节可被不同方式处理，并表明这种可塑性神经调节在神经网络训练上有广泛应用，可提高神经网络在强化学习和监督学习任务中的性能。

Abstract

The impressive lifelong learning in animal brains is primarily enabled by plastic changes in synaptic connectivity. Importantly, these changes are not passive, but are actively controlled by neuromodulation, which is itself under the control of the brain. The resulting self-modifying a

neuromodulation plasticity reinforcement learning adaptation neural networks

发现论文，激发创造

可微可塑性：使用反向传播训练可塑神经网络

利用突触可塑性，采用梯度下降算法优化反馈网络的连接权重和可塑性，使得大型反馈可塑网络可以学习、记忆、重构以及元学习各类任务。

Apr, 2018

具有自修改网络的元强化学习

提出了一个新型的元强化学习模型，MetODS，利用动态连接权重和突触可塑性来进行连续的自我反思修改，实现了在代理策略空间中高效和强大的控制规则的学习。

Feb, 2022

随机网络中基于赫比塞塑性的元学习

受生物神经元可塑性启发，我们提出了一种搜索方法，通过寻找突触特异的赫比学习规则，使网络能在智能体的生命周期内持续自组织其权重，从而实现在一些强化学习任务中取得成功，同时对多种感官模态处理方式具有适应性。

Jul, 2020

演化自组成神经网络：从自发活动到经验依赖学习

基于神经发育程序的一类自组织神经网络模型，具有可塑性，并能从经历中学习和适应不同的控制任务。结果表明，在需要快速适应或具有非稳态奖励的环境中，结构可塑性是有益的。

Jun, 2024

基于 Hebbian 和梯度的可塑性实现 RNNs 的强大记忆与快速学习

本文提出了一种使用可塑性规则的基于循环神经网络的模型，能够自适应地根据不断变化的经验调整参数，并在关联学习和有限次学习等方面表现出色，其中全局梯度可塑性规则比局部 Hebbian 可塑性规则能更好地推断底层映射。

Feb, 2023

使用脑启发的调制强化学习可以提高对环境变化的适应能力

研究提出了一种新的神经元学习规则，它使用突触前输入来调制预测误差，将其嵌入表格和深度 Q 网络强化学习算法中，可以在简单而高动态的任务中胜过传统算法，这提出了一种新的生物智能核心原则。

May, 2022

通过强化学习和无监督学习的融合控制神经网络的突触可塑性

提出了一种基于突触可塑性动态的学习规则，该规则通过融合强化学习和非监督学习模拟误差反馈机制和两个重要机制，包括错误反馈系统以及非监督学习。

Mar, 2023

人工神经网络和真实大脑训练中的新兴计算

该研究探讨了大脑皮层神经回路中突触可塑性、神经元之间的连接和电信号传递，指出如何通过训练循环神经网络学习新任务并改变环境适应能力，同时发现人工网络和真实大脑使用相似的计算策略。

Dec, 2022

反馈与局部可塑性学习的学习

本研究使用元学习发现网络如何利用反馈机制和本地、仿生学习规则，以进行在线信用分配，并超越了现有的基于梯度的算法在回归和分类任务方面的性能，特别是在持续学习方面表现优异，结果表明存在一类生物可行的学习机制，不仅匹配梯度下降，而且还克服了其局限性。

Jun, 2020

突触记忆巩固理论与智能可塑性的延续学习

人和动物终身学习，这对智能至关重要。我们在本章中研究了复杂内部突触动力学的可塑性机制在实现神经网络的终身学习能力中所起的关键作用。通过调查理论研究，我们强调了促进终身学习的两个基本因素：一是突触可塑性机制必须在多个行为相关的时间尺度上保持和演化内部状态；二是可塑性算法必须利用内部状态智能地调节单个突触的可塑性，以便实现对新记忆的无缝整合，并避免对现有记忆的干扰。我们的章节涵盖了这些原理在深度神经网络中的成功应用，并强调了突触元可塑性在维持终身学习能力方面的重要性。最后，我们概述了进一步研究的方向，以了解大脑卓越的终身学习能力，并利用类似机制来开发人工智能系统。

May, 2024