基于层级竞争学习的生物启发式深度学习方法

NIPSJan, 2020

基于层级竞争学习的生物启发式深度学习方法

Biologically-Motivated Deep Learning Method using Hierarchical Competitive Learning

Takashi Shinozaki

TL;DR该研究提出了一种基于生物学启发的新的深度卷积神经网络学习方法，使用无监督的竞争学习来进行预训练可解决标记数据缺乏的问题，在 MNIST、CIFAR-10 和 ImageNet 数据集上获得了最先进的表现，其高层次的学习表示方法不需要反向传播错误信号来训练卷积层，可用于各种标记不足的数据。

Abstract

This study proposes a novel biologically-motivated learning method for deep convolutional neural networks (CNNs). The combination of CNNs and back propagation (BP) learning is the most powerful method in recent m

biologically-motivated learning convolutional neural networks unsupervised competitive learning pre-training image discrimination

发现论文，激发创造

竞争性学习丰富了学习表示，并加速了 CNN 的微调

本研究将竞争性学习引入卷积神经网络（CNNs）中，通过使用未标记的数据进行有效的表征学习，从而提高表征学习和微调的效率。结果表明，在一些情况下，这种方法扩大了 CNNs 中的过滤器数量，实现了更详细而广泛的表征。

Apr, 2018

竞争隐藏单元的无监督学习

提出了一个与生物学有相当可信度的非常规学习规则，可以通过全局抑制作用于隐藏层，能够完全无监督的学习早期特征检测器，这些学过的下层特征检测器可用于以惯常的有监督方式训练更高层次的权重，以使整个网络的性能与通过反向传播算法端对端训练的前馈网络的性能相当。

Jun, 2018

生物启发深度学习算法和架构的可扩展性评估

通过对 MNIST、CIFAR-10 和 ImageNet 数据集中的机器学习任务进行实验，我们提出和探究了目标传播和反馈对齐算法的变体，在全连接和局部连接的体系结构下，大部分算法都可以很好的完成 MNIST 数据集的任务。然而，我们发现在面对 CIFAR 和 ImageNet 数据集时，这些算法在局部连接的体系结构下表现不如反向传播算法，因此我们需要新的架构和算法来扩展这些方法。

Jul, 2018

信念传播再进化：学习 BP 层用于标签问题

本文提出一种基于深度学习模型的简化 Belief Propagation 方法 (BP Layer)，并将其作为卷积神经网络 (CNNs) 的中间层或者最终层来解决密集预测问题，如立体，光学流和语义分割等。

Mar, 2020

CSNNs: 无监督、不使用反向传播卷积神经网络的表示学习

本文提出了一种基于卷积神经网络、自组织映射聚类和赫布学习的卷积自组织神经网络（CSNNs）的建模方法，可以在无需反向传播的情况下完成学习，利用所提出的建模方法可以用于图像分类领域并取得与 Backpropagation 方法相当的性能。

Jan, 2020

通过本地竞争来实现激活学习

本文提出了一种生物可行的局部学习规则，利用神经元之间的局部竞争完成无监督特征发现，使用称为激活学习的正向学习范例对样本进行分类，在一些小数据集上能够与反向传播相媲美；同时在实现异常检测时表现出色。

Sep, 2022

利用生物神经元属性的卷积神经网络

通过结合生物神经元原理，使用基于神经科学的计算模型来增强训练效率和提高准确性，以推动组合感受野模型作为卷积神经网络的基础层，从而在 CIFAR-10、CIFAR-100 和 ImageNet-100 数据集上实现性能显著提升（平均提升 5%-10%）

Nov, 2023

核化信息瓶颈在深度网络中引导基于生物的三因子赫布学习

提出一种基于信息瓶颈原理的学习规则，结合了核方法，并采用 3 要素的 Hebbian 结构，其不需要精确标签，且在图像分类任务上表现与反向传播算法接近。

Jun, 2020

使用逐层稀疏编码和 STDP 学习的生物启发型脉冲卷积神经网络

本文探讨了一种新颖的生物启发式脉冲卷积神经网络，该网络以贪心的分层方式进行训练，将由脉冲卷积 - 池化层和提取独立视觉特征的特征发现层组成，使用局部学习训练卷积层内的卷积核并利用概率性、泄漏整流集成火 (LIF) 神经元从输入刺激中提取独立特征。实验结果表明，该模型能够轻松进行多层次学习，并且具有噪声鲁棒性。

Nov, 2016

前向 - 前向算法的卷积式分通道竞争学习

通过通道竞争学习在卷积神经网络中提出前向传递算法（Forward-Forward Algorithm）的改进方法，构建一个逐层有竞争性的学习过程，避免了负数据的生成、收敛速度较慢以及在复杂任务上性能不足等限制，在图像分类任务中，我们的方法优于基于前向传递算法的最近模型，在 MNIST、Fashion-MNIST、CIFAR-10 和 CIFAR-100 上的测试错误率分别为 0.58%、7.69%、21.89% 和 48.77%。这项研究主张了一种能够以模块化、更高效、更灵活的方式学习有用的表示的方法。

Dec, 2023