核化信息瓶颈在深度网络中引导基于生物的三因子赫布学习

Jun, 2020

核化信息瓶颈在深度网络中引导基于生物的三因子赫布学习

Kernelized information bottleneck leads to biologically plausible 3-factor Hebbian learning in deep networks

Roman Pogodin, Peter E. Latham

TL;DR提出一种基于信息瓶颈原理的学习规则，结合了核方法，并采用 3 要素的 Hebbian 结构，其不需要精确标签，且在图像分类任务上表现与反向传播算法接近。

Abstract

The state-of-the art machine learning approach to training deep neural networks, backpropagation, is implausible for real neural networks: neurons need to know their outgoing weights; training alternates between a bottom-up forward pass (computation) and a top-down backward pass (learning); and the algorithm often needs precise labels of many data points. Bi

deep neural networks biologically plausible learning rules information bottleneck principle image classification

发现论文，激发创造

反馈与局部可塑性学习的学习

本研究使用元学习发现网络如何利用反馈机制和本地、仿生学习规则，以进行在线信用分配，并超越了现有的基于梯度的算法在回归和分类任务方面的性能，特别是在持续学习方面表现优异，结果表明存在一类生物可行的学习机制，不仅匹配梯度下降，而且还克服了其局限性。

Jun, 2020

竞争隐藏单元的无监督学习

提出了一个与生物学有相当可信度的非常规学习规则，可以通过全局抑制作用于隐藏层，能够完全无监督的学习早期特征检测器，这些学过的下层特征检测器可用于以惯常的有监督方式训练更高层次的权重，以使整个网络的性能与通过反向传播算法端对端训练的前馈网络的性能相当。

Jun, 2018

平衡中的贡献，按比例连接：从简单的生物可塑性规则中产生反向传播

通过介绍一种新的神经可塑性规则，该研究提供了一种在大脑中实现反向传播的潜在机制，并在数学模拟和人工神经网络实验中证明该规则在网络中诱导出不同的社区结构，从而呈现出一种生物学上可行的 BP 实现方式。

May, 2024

具有不对称连接和 Hebbian 更新的深度学习

本论文提出一种使用 Hebbian 更新训练深度网络的方法，反馈权重与前馈权重分离以克服反向传播中不真实的对称性，即使在权重不同的情况下，其性能也与常规反向传播相当，同时提出了一种可以表示为最后一层局部 Hebbian 更新的成本函数。

Nov, 2018

稀疏分布数据中是否可以避免维数灾难采用类何比学习规则？

本文探讨了大脑如何使用 Hebbian 学习规则来避免高维稀疏分布表示的 “维度灾难” 问题，并使用特定的稀疏数据集来证实使用 Restricted Boltzmann Machines 分类器的好处。

Jul, 2022

深度学习与信息瓶颈原理

使用信息瓶颈（IB）原理分析深度神经网络（DNN）的信息流，并得到 DNN 的理论极限及有限样本泛化的上限，同时探讨了网络的优化模型，层数和特征 / 连接与信息瓶颈权衡中的分叉点的关系，其中对应了网络层级结构上的结构相变。

Mar, 2015

走向生物学可行的深度学习

本文探讨了一种更具生物学可行性的深度表示学习方法，通过一种基础学习规则（即基于突触权重更新的时序相关型可塑性）引出一种机器学习的梯度下降算法，利用神经元动态学实现了近似的变分 EM 算法，提出了使用去噪自编码器实现梯度的方法，并将其在生成学习任务上加以验证。

Feb, 2015

深度卷积网络中的反馈对齐

研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比，介绍了不依赖于对称前向和后向突触权重的算法，提出通过加强权重符号一致性的反馈对准法的修改，可以实现与反向传播法相当的性能。这些研究结果表明，促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。

Dec, 2018

仿生学的神经元适应提高神经网络的学习能力

通过多层感知器和卷积神经网络，研究对比黑比学习和平衡传播算法及其加宽自适应能力的表现及其仿生学上的意义。

Apr, 2022

神经科学启发的机器学习综述

这篇论文调研了模拟生物可行的信用分配规则在人工神经网络中的多个重要算法，并讨论了它们在不同科学领域的解决方案以及在 CPU、GPU 和神经形态硬件上的优势，最后讨论了未来需要解决的挑战，以使这些算法在实际应用中更加有用。

Feb, 2024