本地可塑性规则可使用自监督对比预测学习深度表征

Oct, 2020

本地可塑性规则可使用自监督对比预测学习深度表征

Local plasticity rules can learn deep representations using self-supervised contrastive predictions

Bernd Illing, Jean Ventura, Guillaume Bellec, Wulfram Gerstner

TL;DR这篇论文提出了一种受到神经科学和自监督深度学习最新进展启发的学习规则，使用局部，赫布规则进行权重更新，并具有深度分层的图像、语音和视频表示。

Abstract

Learning in the brain is poorly understood and learning rules that respect biological constraints, yet yield deep hierarchical representations, are still unknown. Here, we propose a learning rule that takes inspi

learning rule neuroscience self-supervised deep learning hebbian learning hierarchical representations

发现论文，激发创造

走向生物学可行的深度学习

本文探讨了一种更具生物学可行性的深度表示学习方法，通过一种基础学习规则（即基于突触权重更新的时序相关型可塑性）引出一种机器学习的梯度下降算法，利用神经元动态学实现了近似的变分 EM 算法，提出了使用去噪自编码器实现梯度的方法，并将其在生成学习任务上加以验证。

Feb, 2015

反馈与局部可塑性学习的学习

本研究使用元学习发现网络如何利用反馈机制和本地、仿生学习规则，以进行在线信用分配，并超越了现有的基于梯度的算法在回归和分类任务方面的性能，特别是在持续学习方面表现优异，结果表明存在一类生物可行的学习机制，不仅匹配梯度下降，而且还克服了其局限性。

Jun, 2020

生物启发学习中分解编码器设计中的表征学习

本文研究了在代表性学习中利用具有局部可塑性规则的归纳偏见，探索了在编码器的早期层中通过使用人为指定的准不变滤波器的归纳偏见来提高学习分类器的鲁棒性和透明性。研究结果表明，这种形式的归纳偏见在局部可塑性规则模型和反向传播模型之间缩小差距，以及在学习更稳健的表示方面具有益处。

Nov, 2023

LoCo: 本地对比度表示学习

本文针对现有无监督对比学习算法存在的局部学习和全局学习性能差异的问题，提出了一种新的解决方案，即将本地块重叠并堆叠在一起以增加解码器深度，并为上层块隐含地向下层块发送反馈。通过在 ImageNet 中的实验以及直接使用 readout 特征进行对象检测和实例分割等复杂下游任务，我们发现该方法可有效处理局部学习和端到端对比学习算法之间的性能差距。

Aug, 2020

竞争隐藏单元的无监督学习

提出了一个与生物学有相当可信度的非常规学习规则，可以通过全局抑制作用于隐藏层，能够完全无监督的学习早期特征检测器，这些学过的下层特征检测器可用于以惯常的有监督方式训练更高层次的权重，以使整个网络的性能与通过反向传播算法端对端训练的前馈网络的性能相当。

Jun, 2018

通过本地竞争来实现激活学习

本文提出了一种生物可行的局部学习规则，利用神经元之间的局部竞争完成无监督特征发现，使用称为激活学习的正向学习范例对样本进行分类，在一些小数据集上能够与反向传播相媲美；同时在实现异常检测时表现出色。

Sep, 2022

对比学习中归纳偏置的理论研究

本研究针对自监督学习提供了首个理论分析，其中包括来自模型类祖产的归纳偏差的影响。我们特别关注对比学习 - 一种在视觉领域广泛使用的自监督学习方法。我们发现，当模型具有有限的容量时，对比表示将恢复与模型结构兼容的某些特殊聚类结构，但忽略数据分布中的许多其他聚类结构，从而捕捉了更加现实的情景。我们将理论实例化为几个合成数据分布，并提供实证证据来支持该理论。

Nov, 2022

一种含有突触局部可塑性和脉冲神经元的稀疏编码模型，能解释 V1 简单细胞感受野不同的形状

训练在自然图像上的稀疏编码算法能够准确预测视觉皮层神经元所激发的特征，但不确定是否可以使用生物学真实的可塑性规则来学习这些代码。我们开发了一种生物物理模型的尖峰网络，仅依靠突触局部信息就能预测自然图像上 V1 简单细胞感受野的全部多样性形状，这是首次证明，稀疏编码原则在皮层结构限制下操作时可以成功地再现这些感受野。我们进一步证明，稀疏性和去相关是允许突触局部可塑性规则优化神经表达形成的合作线性生成图像模型的关键因素。最后，我们讨论了我们的网络的几个有趣的新兴属性，以期弥合视觉皮层的理论和实验研究之间的差距。

Sep, 2011

脉冲神经网络中的传播延迟学习

本文探索了一种新的局部学习规则，该规则适用于脉冲神经网络，其中脉冲传播时间会发生经验依存性的可塑性更改，通过实现分类精度的提高和记忆能力的扩展，证明了该方法的潜力。

Oct, 2022

EchoSpike 预测可塑性：一种用于脉冲神经网络的在线本地学习规则

通过引入「EchoSpike Predictive Plasticity」（ESPP）学习规则，本文在多层 SNN 中探索在线本地学习的自监督学习应用，展示其与当前最先进的有监督学习规则相媲美的效果，从而为边缘神经形态计算开发出具有生物可行性的自监督学习模型，为低成本的神经形态处理器提供时空局部性突出的解决方法。

May, 2024