本文研究表明,神经可塑性的神经调节可被不同方式处理,并表明这种可塑性神经调节在神经网络训练上有广泛应用,可提高神经网络在强化学习和监督学习任务中的性能。
Feb, 2020
受生物神经元可塑性启发,我们提出了一种搜索方法,通过寻找突触特异的赫比学习规则,使网络能在智能体的生命周期内持续自组织其权重,从而实现在一些强化学习任务中取得成功,同时对多种感官模态处理方式具有适应性。
Jul, 2020
本文提出了一种使用可塑性规则的基于循环神经网络的模型,能够自适应地根据不断变化的经验调整参数,并在关联学习和有限次学习等方面表现出色,其中全局梯度可塑性规则比局部 Hebbian 可塑性规则能更好地推断底层映射。
Feb, 2023
本文研究了深度学习系统在持续学习环境下的表现,发现其容易出现失去可塑性现象,影响其对新数据的适应能力,但通过 L2 正则化和重启动某些不常用单元的连续反向传播算法,可以缓解和避免这种现象。
Jun, 2023
本研究使用元学习发现网络如何利用反馈机制和本地、仿生学习规则,以进行在线信用分配,并超越了现有的基于梯度的算法在回归和分类任务方面的性能,特别是在持续学习方面表现优异,结果表明存在一类生物可行的学习机制,不仅匹配梯度下降,而且还克服了其局限性。
Jun, 2020
基于神经发育程序的一类自组织神经网络模型,具有可塑性,并能从经历中学习和适应不同的控制任务。结果表明,在需要快速适应或具有非稳态奖励的环境中,结构可塑性是有益的。
Jun, 2024
在神经网络的设计、初始化和优化的过程中,损失可塑性问题是一个关键因素。通过组合使用层归一化和权重衰减技术,可以在各种非平稳学习任务中有效地维持网络的可塑性,从而实现高度稳健的学习算法。
Feb, 2024
提出了一个新型的元强化学习模型,MetODS,利用动态连接权重和突触可塑性来进行连续的自我反思修改,实现了在代理策略空间中高效和强大的控制规则的学习。
Feb, 2022
通过对前馈神经网络的学习能量建模,我们提出了两种可降低神经可塑性带来的代谢能耗的算法,限制神经可塑性能够显著地节省能量,并可能有助于更好地理解生物可塑性和人工学习匹配。
Apr, 2023
该研究探讨了大脑皮层神经回路中突触可塑性、神经元之间的连接和电信号传递,指出如何通过训练循环神经网络学习新任务并改变环境适应能力,同时发现人工网络和真实大脑使用相似的计算策略。
Dec, 2022