Mar, 2023

惰性学习：一种受生物启发的可塑性规则，用于快速、高效的突触可塑性

PDF
TL;DR本文介绍了一种受人类学习模式启发的方法：懒惰学习，通过只在分错的样本上进行学习，可实现一些分类任务的更高准确度，并且不需要超参数调整。
neural networksclassification tasksbackpropagationlazy learningtest accuracy
发现论文，激发创造
  • 反馈与局部可塑性学习的学习

    本研究使用元学习发现网络如何利用反馈机制和本地、仿生学习规则，以进行在线信用分配，并超越了现有的基于梯度的算法在回归和分类任务方面的性能，特别是在持续学习方面表现优异，结果表明存在一类生物可行的学习机制，不仅匹配梯度下降，而且还克服了其局限性。

    Jun, 2020

  • 可微可塑性：使用反向传播训练可塑神经网络

    利用突触可塑性，采用梯度下降算法优化反馈网络的连接权重和可塑性，使得大型反馈可塑网络可以学习、记忆、重构以及元学习各类任务。

    Apr, 2018

  • 通过竞争性可塑性降低学习的能量成本

    通过对前馈神经网络的学习能量建模，我们提出了两种可降低神经可塑性带来的代谢能耗的算法，限制神经可塑性能够显著地节省能量，并可能有助于更好地理解生物可塑性和人工学习匹配。

    Apr, 2023

  • 随机网络中基于赫比塞塑性的元学习

    受生物神经元可塑性启发，我们提出了一种搜索方法，通过寻找突触特异的赫比学习规则，使网络能在智能体的生命周期内持续自组织其权重，从而实现在一些强化学习任务中取得成功，同时对多种感官模态处理方式具有适应性。

    Jul, 2020

  • 基于生物启发架构的持续学习任务性能改进

    使用生物学原理进入机器学习模型，我们开发了一种轻量级神经网络结构，通过突触可塑性机制和神经调制，通过本地错误信号进行在线继续学习，从而改善了传统方法的稳定性和记忆限制，在 Split-MNIST，Split-CIFAR-10 和 Split-CIFAR-100 数据集上表现出更好的在线继续学习性能，并在基于回放的方法上达到最先进的记忆密集型方法的性能水平，进一步通过将关键设计概念整合到其他反向传播的继续学习算法中，显著提高了它们的准确性。

    Aug, 2023

  • 位置优化器：一种自然启发的优化算法

    介绍了一种模仿生物神经可塑性的新型自然启发式优化算法，在三个数据集上进行了测试，并与梯度下降优化进行了比较。

    Apr, 2022

  • 神经形态计算 deep learning 机器

    本篇论文介绍了一种名为 Event-Driven Random BP (eRBP) 规则的神经形态计算方法，可用于学习深度表示，其具有在神经形态硬件中实现的优势，并且与 GPU 上的人工神经网络模拟相比，分类准确性相近且在学习过程中鲁棒性较强。

    Dec, 2016

  • 可导编程中的懒惰训练

    本文通过理论分析和数值实验，证明了惰性训练现象不仅仅局限于过度参数化的神经网络，同时也适用于其他优化问题，然而，在计算机视觉中，惰性训练并不适用于深度卷积神经网络的训练，这使得惰性训练很可能不是神经网络在高维任务中成功的原因之一。

    Dec, 2018

  • 核化信息瓶颈在深度网络中引导基于生物的三因子赫布学习

    提出一种基于信息瓶颈原理的学习规则，结合了核方法，并采用 3 要素的 Hebbian 结构，其不需要精确标签，且在图像分类任务上表现与反向传播算法接近。

    Jun, 2020

  • 本地可塑性规则可使用自监督对比预测学习深度表征

    这篇论文提出了一种受到神经科学和自监督深度学习最新进展启发的学习规则，使用局部，赫布规则进行权重更新，并具有深度分层的图像、语音和视频表示。

    Oct, 2020