稀疏分布数据中是否可以避免维数灾难采用类何比学习规则？

Jul, 2022

稀疏分布数据中是否可以避免维数灾难采用类何比学习规则？

Can a Hebbian-like learning rule be avoiding the curse of dimensionality in sparse distributed data?

Maria Osório, Luís Sa-Couto, Andreas Wichert

TL;DR本文探讨了大脑如何使用 Hebbian 学习规则来避免高维稀疏分布表示的 “维度灾难” 问题，并使用特定的稀疏数据集来证实使用 Restricted Boltzmann Machines 分类器的好处。

Abstract

It is generally assumed that the brain uses something akin to sparse distributed representations. These representations, however, are high-dimensional and consequently they affect classification performance of traditional Machine Learning models due to "the curse of dimensionality". In

sparse distributed representations curse of dimensionality hebbian learning restricted boltzmann machines backprop

发现论文，激发创造

核化信息瓶颈在深度网络中引导基于生物的三因子赫布学习

提出一种基于信息瓶颈原理的学习规则，结合了核方法，并采用 3 要素的 Hebbian 结构，其不需要精确标签，且在图像分类任务上表现与反向传播算法接近。

Jun, 2020

从贝叶斯稀疏到门控循环神经网络

本文指出，关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆 (LSTM) 网络或先前设计用于序列预测的替代门控反馈网络的结构，从而导致了一种新的稀疏估计系统，当授予训练数据时，可以在其他算法失败的方案中高效地估计最优解，包括在实际方向 - 到达 (DOA) 和三维几何恢复问题中。

Jun, 2017

带有赫比塞义可塑性的尖峰神经网络用于无监督表征学习

介绍了一种新颖的脉冲神经网络模型，用于从数据中学习分布式内部表示，通过将之前已被证明可以执行表示学习的非脉冲前馈贝叶斯置信传播神经网络（BCPNN）模型转换为脉冲神经网络，并采用基于在线相关性的 Hebbian-Bayesian 学习和重连机制，呈现出在生物皮层锥体神经元中与 in vitro 低发射率相当的 Poisson 统计量。我们使用线性分类器评估了我们的脉冲模型学习的表示，并展示了与非脉冲 BCPNN 接近，以及当对 MNIST 和 F-MNIST 机器学习基准进行训练时，与其他基于 Hebbian 的脉冲网络竞争力相当。

May, 2023

深度网络如何学习稀疏和分层数据：稀疏随机层次模型

通过引入数据的稀疏性到生成式分层模型中，我们展示了学习到的抽象表达和空间变换的不变性之间的强相关性，并解释了卷积神经网络在 Sparse Random Hierarchy Model (SRHM) 中的样本复杂性如何依赖于任务的稀疏性和分层结构。

Apr, 2024

本地可塑性规则可使用自监督对比预测学习深度表征

这篇论文提出了一种受到神经科学和自监督深度学习最新进展启发的学习规则，使用局部，赫布规则进行权重更新，并具有深度分层的图像、语音和视频表示。

Oct, 2020

走向生物学可行的深度学习

本文探讨了一种更具生物学可行性的深度表示学习方法，通过一种基础学习规则（即基于突触权重更新的时序相关型可塑性）引出一种机器学习的梯度下降算法，利用神经元动态学实现了近似的变分 EM 算法，提出了使用去噪自编码器实现梯度的方法，并将其在生成学习任务上加以验证。

Feb, 2015

深度学习中生物学的角色

本文回顾了人工神经网络历史并将现代理论神经科学应用于深度学习领域中的实验，使用迭代幅值剪枝来训练稀疏连接的网络，发现仅仅靠权重稀疏并不能提高图像的噪声鲁棒性，最近，开发出利用权重稀疏性，活性稀疏性和主动树突建模来方便持续学习的模型，本文重新验证了这些发现，并将该方法扩展到更具挑战的连续学习任务上，并公开了代码。

Sep, 2022

使用展开网络进行聚类归纳偏差

在这篇论文中，我们提出了一种自动编码器架构（WLSC），其潜在表示通过二分图的拉普拉斯二次形式实现了隐式的、本地的谱聚类，生成了一组多样的人工感受野，与 V1 的灵长类动物数据具有相近的一致性，而且也展示了我们的正则化可以被解释为感受野对特定刺激类别的早期专门化，即我们为之后的皮质阶段引入了弱的聚类偏差，这是已知的功能性和空间分离（即拓扑）发生的地方。这些结果表明，在对 V1 及其之后的特征分离进行描述时，对感受野和放电率进行空间正则化至关重要。

Nov, 2023

基于 Hebbian 学习的线性回归参数估计

通过建立上下界，我们证明了这种 Hebbian 学习规则在仅有线性回归损失的查询可用时，可以实现比任何独立于数据选择查询的非自适应方法更快的收敛速度。

Sep, 2023

神经形态计算 deep learning 机器

本篇论文介绍了一种名为 Event-Driven Random BP (eRBP) 规则的神经形态计算方法，可用于学习深度表示，其具有在神经形态硬件中实现的优势，并且与 GPU 上的人工神经网络模拟相比，分类准确性相近且在学习过程中鲁棒性较强。

Dec, 2016