NIPSOct, 2018

树突皮层微电路模拟反向传播算法

PDF
TL;DR本文基于深度学习和神经科学，介绍了一种多层神经元网络模型，该模型利用简化的树突区，实现误差驱动的突触可塑性，在时间上持续地通过局部树突预测误差进行突触学习，进而解决了长期以来的突触学分配问题，并在回归和分类任务中证明模型的学习能力。
deep learningneuroscienceneuronal networksynaptic plasticitycortical circuits
发现论文，激发创造
  • 深层皮质微回路中的树突误差反向传播

    通过对多区域神经元网络模型的介绍，本研究提出了一种新的突触可塑性学习规则，通过基础树突上的突触修饰实现错误反向传递从而学习。并且在该框架中加入一种去抑制机制，使得该框架能够生成噪声和关注感和一些其它学习任务。

    Dec, 2017

  • 抑制性神经元环路可控制突触可塑性的符号

    神经元电路如何实现学分分配是系统神经科学中一个未解决的核心问题，本文通过一种在自适应控制理论框架内得出的可行的微电路模型和 Hebb 学习规则展示了如何解决这一矛盾，同时对兴奋性可塑性的抑制调节提出了具体预测。

    Oct, 2023

  • 探索具有隔离树突的深度学习

    通过采用具有多重分区的神经元的深度学习算法，该论文展示了如何理解大脑如何优化成本函数，并证明通过分离树突分支可以实现深度学习。

    Oct, 2016

  • 大脑皮层微电路的计算框架近似于符号一致的随机反向传播

    本研究提出一种基于神经科学机制实现随机反向传播的框架，该框架采用三种类型的元件和两种类型的突触连接来计算和传播错误信号，并支持全局定义的尖峰误差函数的多层尖峰神经网络的训练。使用局部部件中操作的 Hebb 定律来更新突触权值并以生物学可行的方式实现监督学习。最后，从优化的角度解释了提出的框架并显示其等效于符号一致反馈对齐。

    May, 2022

  • 一个多功能电路用于仿真生物活跃树突，应用于声音定位和神经元模拟

    通过引入一种模拟树突分支节段的多功能电路，本研究揭示了树突在生物感知以及神经网络构建中的重要作用，并证明可以纯由树突电路构建神经元网络。

    Oct, 2023

  • 预测编码近似计算任意计算图上的反向传播

    研究发现，通过局部学习规则，预测编码可以渐近（且实际上很快）地收敛到任意计算图上的精确反向传播梯度，这使得标准机器学习算法理论上可以直接用神经电路实现，从而为分布式神经形态结构的开发做出了贡献。

    Jun, 2020

  • 大脑皮层预测市场

    从机制设计的角度探究皮层学习的过程，研究表明基于离散化的标准神经元模型和突触可塑性设计下，神经元会根据打分规则达到最优表现，而这些打分规则恰当而准确地表达了神经元突触权重和 Spike 单位的期望效用和高得分结果，基于这些发现，提出了一种生物学上可行的机制，通过反向传播动机来优化神经元对大脑其他部分的作用，并展现了该机制能够实现简单任务的学习。

    Jan, 2014

  • 避免灾难：主动树突在动态环境中实现多任务学习

    通过生物学对神经元的性质进行深度学习网络的架构设计和实现，成功地解决了动态情境下的任务适应及多任务学习问题，进一步说明了神经元的生物学特征可以启示深度学习系统解决传统神经网络无法解决的动态场景中的问题.

    Dec, 2021

  • 预测编码：走向超越反向传播的深度学习未来？

    回传误差算法已经成为深度学习成功的基础之一，而预测编码则利用局部学习，具有潜力克服其限制并在当前深度学习技术之上发展。本文综述了有关这个问题的各种作品及其理论联系，并展示了预测编码网络相对于深度神经网络具有更高的灵活性及其在机器学习分类任务上的潜在优势以及与控制理论的紧密联系和在机器人领域的应用。

    Feb, 2022

  • 大脑皮层微电路作为门控递归神经网络

    通过 gated-memory 神经网络中的 subLSTMs 单元，作者提出了一种在 known canonical 激活 - 抑制皮质微电路上的自然映射 ，通过在图像分类和语言建模任务中的实证评估，作者证明了 subLSTM 单元可获得类似于 LSTM 单元的性能，因此推断皮层电路可以被优化以解决复杂的背景问题，并提出了一个新颖的计算机功能视角。

    Nov, 2017