一种基于对称矩阵分解的在线稀疏字典学习的赫比 / 反赫比网络
研究单层神经元网络如何执行在线对称非负矩阵分解(SNMF)的假设,通过导出基于 SNMF 成本函数的在线算法,可以实现具有局部学习规则的生物学上可行的网络。该算法具有软聚类和稀疏特征发现能力,是一个阶段性的研究,可以促进大规模神经电路模拟和生物启发式人工智能。
Mar, 2015
在这篇论文中,我们提出了一种自动编码器架构(WLSC),其潜在表示通过二分图的拉普拉斯二次形式实现了隐式的、本地的谱聚类,生成了一组多样的人工感受野,与 V1 的灵长类动物数据具有相近的一致性,而且也展示了我们的正则化可以被解释为感受野对特定刺激类别的早期专门化,即我们为之后的皮质阶段引入了弱的聚类偏差,这是已知的功能性和空间分离(即拓扑)发生的地方。这些结果表明,在对 V1 及其之后的特征分离进行描述时,对感受野和放电率进行空间正则化至关重要。
Nov, 2023
本文主要介绍了一种新的基于随机逼近的在线优化算法,用于解决以学习基础集合和将其适应特定数据为主的大规模矩阵分解问题,其在各种矩阵分解方面有良好的表现,并在自然图像和基因数据上进行的实验中具有速度和优化方面的先进性能。
Aug, 2009
本文指出,关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆 (LSTM) 网络或先前设计用于序列预测的替代门控反馈网络的结构,从而导致了一种新的稀疏估计系统,当授予训练数据时,可以在其他算法失败的方案中高效地估计最优解,包括在实际方向 - 到达 (DOA) 和三维几何恢复问题中。
Jun, 2017
训练在自然图像上的稀疏编码算法能够准确预测视觉皮层神经元所激发的特征,但不确定是否可以使用生物学真实的可塑性规则来学习这些代码。我们开发了一种生物物理模型的尖峰网络,仅依靠突触局部信息就能预测自然图像上 V1 简单细胞感受野的全部多样性形状,这是首次证明,稀疏编码原则在皮层结构限制下操作时可以成功地再现这些感受野。我们进一步证明,稀疏性和去相关是允许突触局部可塑性规则优化神经表达形成的合作线性生成图像模型的关键因素。最后,我们讨论了我们的网络的几个有趣的新兴属性,以期弥合视觉皮层的理论和实验研究之间的差距。
Sep, 2011
本文探讨了大脑如何使用 Hebbian 学习规则来避免高维稀疏分布表示的 “维度灾难” 问题,并使用特定的稀疏数据集来证实使用 Restricted Boltzmann Machines 分类器的好处。
Jul, 2022
本文介绍了一种基于局部学习规则的生物学本质上可行的反馈神经网络,该网络利用多维缩放代价函数学习流数据的主要子空间,从而实现神经计算的算法化理论。
Mar, 2015
通过分离图像的变异因子,我们提出了一种基于 Gabor-like 滤波器的模型,在学习过程中达到更高的统计效率和更好的压缩性能,仅使用单个字典元素就可以优于标准稀疏编码,较好地解决了传统稀疏编码过度冗余的问题。
Sep, 2011