Jun, 2016

前馈初始化对深度生成网络快速推断的生物性可行性研究

PDF
TL;DR探讨了深层次的生成模型，其中计算是既反复又随机的，但循环不是为了模拟顺序结构，而是为了执行计算，并提出了一种简单的前馈计算方法，可用于推断，使得循环神经网络非常接近网络动力学的固定点。
boltzmann machineshopfield netsgenerative modelsfeedforward computationrecurrent neural models
发现论文，激发创造
  • 核化信息瓶颈在深度网络中引导基于生物的三因子赫布学习

    提出一种基于信息瓶颈原理的学习规则，结合了核方法，并采用 3 要素的 Hebbian 结构，其不需要精确标签，且在图像分类任务上表现与反向传播算法接近。

    Jun, 2020

  • 深度神经网络为什么是可逆的：一个简单的理论，以及对训练的影响

    本文简单证明根据生成模型产生的反向网络是正确的推理方法。在一个简单的生成模型中，证明前向神经网络是正确的推理方法，它通过实验证明了像 AlexNet 这样的现实的深度神经网络的边缘权重的行为类似于随机数。它利用生成模型来产生带有标签的合成数据，并将其包含在训练集中，为深度学习提供改进和标准训练方法。

    Nov, 2015

  • 具有循环生成反馈的神经网络

    通过引入生成循环反馈，本文在卷积神经网络上实现了一种用于保证自我一致性的框架，并在标准基准测试中展示了 CNN-F 相对于传统前馈 CNN 的显着提高的对抗性鲁棒性。

    Jul, 2020

  • 短期突触可塑性脉冲神经元形成更优秀的生成网络

    本文提出利用短期可塑性为脉冲神经网络提供与非脉冲神经网络不同的计算优势，并使用节约的局部突触可塑性模拟温度相关技术来解决网络计算困难性问题。这些网络在处理生成任务时表现出出色性能，在任务不平衡的情况下，它们甚至可以胜过传统算法。

    Sep, 2017

  • 基于脉冲的因果推理用于权值对齐

    通过引入脉冲系统处理信息，使得反向传导和前向传输的神经突触权重不相同，解决了生物模型中学习时的权重传递问题，提高了学习表现。

    Oct, 2019

  • 深度卷积网络中的反馈对齐

    研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比，介绍了不依赖于对称前向和后向突触权重的算法，提出通过加强权重符号一致性的反馈对准法的修改，可以实现与反向传播法相当的性能。这些研究结果表明，促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。

    Dec, 2018

  • 轻量级前向训练算法推理

    这篇论文提出了一种专门为使用 Forward-Forward 算法训练的 DNN 设计的轻量级推理方案，并在 MNIST 和 CIFAR 数据集以及癫痫发作检测和心律失常分类等两个实际应用中进行了评估，证明了它的相关性。

    Apr, 2024

  • 使用前向前向算法训练的网络中的紧急表示

    本研究中，作者探讨了一种名为 Forward-Forward 的训练神经网络的方法，与传统的 Backpropagation 背向算法相比，它采用了本地学习规则。作者通过实验发现，使用 Forward-Forward 算法进行训练所得到的神经网络内部表示可以组织成强健的、类别特定的合奏，并且由极少量的活跃单元（高稀疏度）组成，这与感官处理期间皮层表示的观察结果非常相似。这表明在模拟皮层学习方面，Forward-Forward 算法提出的学习过程比 Backpropagation 更优秀。

    May, 2023

  • 深度神经网络中条件前馈计算的低秩近似

    本文研究深度神经网络中的可扩展性问题，提出了一种条件计算的方法，利用门控单元来确定节点何时进行计算，通过将权重矩阵分解成低秩逼近，能够有效地获得非线性激活前的正负号，在使用 ReLU 激活函数时，能够跳过一些节点的计算，加速稀疏神经网络的运行。实验结果显示，这种方法在 MNIST 和 SVHN 数据集上的性能稳健，对于条件计算过程引入的误差具有较好的鲁棒性。

    Dec, 2013

  • 具有不对称连接和 Hebbian 更新 的深度学习

    本论文提出一种使用 Hebbian 更新训练深度网络的方法，反馈权重与前馈权重分离以克服反向传播中不真实的对称性，即使在权重不同的情况下，其性能也与常规反向传播相当，同时提出了一种可以表示为最后一层局部 Hebbian 更新的成本函数。

    Nov, 2018