Dec, 2023

贝叶斯元可塑性与突触不确定性

PDF
TL;DR通过利用突触的不确定性，基于元可塑性和贝叶斯推断原理，我们引入了 MESU（MEtaplasticity from Synaptic Uncertainty），其近似于对角牛顿方法的更新规则，保持信息长期记忆，并在连续学习实验中展示了处理 100 个任务时无需明确任务边界的出色性能。
发现论文，激发创造
  • 存储感知突触：学习何时（不）遗忘

    本文提出了一个新的生命周期学习的方法，命名为记忆感知突触 (Memory Aware Synapses)，它计算神经网络参数的重要性，并根据重要性进行惩罚以防止重要知识被覆盖，这与大脑学习过程的 Hebb 规则有相关性。在物体识别任务和嵌入学习任务中，该方法表现出最先进的性能。

    Nov, 2017

  • 基于脉冲神经网络的贝叶斯连续学习

    本文提出了一种基于贝叶斯持续学习框架，以及在线学习规则用于进行神经形态工程，以实现能够适应变化学习任务的特性和风险管理，同时产生良好校准的不确定性估计的真正的神经形态系统的设计。

    Aug, 2022

  • 具有自修改网络的元强化学习

    提出了一个新型的元强化学习模型，MetODS，利用动态连接权重和突触可塑性来进行连续的自我反思修改，实现了在代理策略空间中高效和强大的控制规则的学习。

    Feb, 2022

  • 随机突触实现高效的类脑学习机制

    本文介绍一种基于突触随机性的神经网络模型 —— 突触采样机，它利用突触随机性进行 Monte Carlo 抽样和无监督学习。该模型具有很好的稀疏性和鲁棒性，同样适用于离散时间和连续时间的人工神经元模型。其中的局部突触可塑性规则实现了一种事件驱动的对比度下降学习，可用于在线生成模型。相较于现有的基于脉冲的无监督学习方法，突触采样机具有更好的表现，并有望应用于基于脉冲的大脑仿真硬件中进行在线学习。

    Nov, 2015

  • 多层电阻变换器实现的突触元可塑性

    本研究提出了一种基于 memristor 的硬件架构，实现了 QNNs 的元可塑性，并验证了其在 MNIST 和 Fashion-MNIST 上的有效性和鲁棒性。

    Jun, 2023

  • 通过强化学习和无监督学习的融合控制神经网络的突触可塑性

    提出了一种基于突触可塑性动态的学习规则，该规则通过融合强化学习和非监督学习模拟误差反馈机制和两个重要机制，包括错误反馈系统以及非监督学习。

    Mar, 2023

  • 基于熵的稳定可塑性方法用于终身学习

    提出了一种基于熵的稳定性可塑性方法来解决神经网络中的稳定性 - 可塑性困境，该方法在自然语言和图像领域的实验表明其可以通过减少干扰来利用先前知识，并在某些情况下可以冻结层以加速训练。

    Apr, 2022

  • 基于贝叶斯神经网络的不确定性引导连续学习

    本文提出了基于不确定性引导的连续贝叶斯神经网络（UCB）来解决连续学习中的分类问题，从而避免灾难性遗忘。我们在不同的物体分类数据集上评估了 UCB 方法的性能，并报告了优秀的性能表现。

    Jun, 2019

  • 具备复杂突触的持续强化学习

    本文研究了使用突触模型可以减轻人工神经网络中存在的 “灾难性遗忘” 现象，从而实现多时间尺度的持续学习并减少经验回放数据库在任务内的遗忘。

    Feb, 2018

  • 元学习双向更新规则

    本研究提出了一种广义神经网络，其中神经元和突触维护多个状态，通过基于链式法则的二值网络来推导出更新规则，并使用共享的低维 “基因组” 进行参数化，证明了该方法的泛化性和训练速度优于梯度下降优化器，可用于计算机视觉和合成任务。

    Apr, 2021