NIPSNov, 2017

大脑皮层微电路作为门控递归神经网络

PDF
TL;DR通过 gated-memory 神经网络中的 subLSTMs 单元，作者提出了一种在 known canonical 激活 - 抑制皮质微电路上的自然映射 ，通过在图像分类和语言建模任务中的实证评估，作者证明了 subLSTM 单元可获得类似于 LSTM 单元的性能，因此推断皮层电路可以被优化以解决复杂的背景问题，并提出了一个新颖的计算机功能视角。
cortical circuitsrecurrent neural networksublstmexcitatory-inhibitory microcircuitsmachine learning
发现论文，激发创造
  • 树突皮层微电路模拟反向传播算法

    本文基于深度学习和神经科学，介绍了一种多层神经元网络模型，该模型利用简化的树突区，实现误差驱动的突触可塑性，在时间上持续地通过局部树突预测误差进行突触学习，进而解决了长期以来的突触学分配问题，并在回归和分类任务中证明模型的学习能力。

    Oct, 2018

  • 连接 LSTM 结构与阅读过程中的神经动态

    本文研究了长短时记忆神经网络（LSTM）的认知合理性，并通过将其内部架构与读故事时观察到的脑活动进行对齐来验证其工作机制，实验结果表明 LSTM 人工记忆向量可以精确预测连续性的脑活动，揭示了 LSTM 架构和阅读故事的认知过程之间的相关性。

    Apr, 2016

  • 任务驱动的卷积循环视觉系统模型

    通过引入前馈卷积神经网络与反馈式局部循环连接设计，提高图像识别准确性，更加贴近灵长类动物视觉系统的神经活动，为当代物体识别任务的研究提供了新的思路。

    Jun, 2018

  • 循环神经网络是否能够扭曲时间？

    本文研究证明可学习门控在循环神经网络中提供输入数据的时间转换几乎不变性的功能，从而为长期依赖性和参数初始化提供了新的可能性。

    Mar, 2018

  • 海马动态与深度卷积网络的上下文调制

    本文探讨了生物神经回路和人工神经网络中的并行处理路径对神经计算的影响，并提出了一种机制，通过在深度学习中引入上下文感应性偏差，优化神经网络的性能，实现了对神经元形成的调节和驱动网络活动的平衡，将此方法运用于 CIFAR-100 和 Fashion-MNIST 数据集，大幅提高了网络性能，而无需增加网络大小。

    Nov, 2017

  • 顺序神经网络作为自动机

    本研究试图从理论的角度解释神经网络的计算类型，通过将它们与自动机相关联，并使用定义 “实时网络有界精度接受语言” 的方法来解释网络内存度量，对可被各种循环网络、注意力和卷积网络接受的语言类别进行了表征。研究发现 LSTM 功能类似于计数器机，并将卷积网络与子正则层次结构相关联。这些理论洞察力有助于解释神经计算，以及神经网络与自然语言语法之间的关系。

    Jun, 2019

  • 序列生成和记忆的递归神经网络模型

    本文提出 Partial In-Network Training（PINning）方法，基于随机网络架构和少量的连接修改，实现突触交互和外部输入的协作而不是前馈或非对称连接，高效地产生神经序列和工作记忆，此方法能够匹配细胞分辨率成像数据，并暗示神经序列可能从较大结构的神经网络中学习而来。

    Mar, 2016

  • 秩序中的秩序：结构化神经元的循环网络中发育和学习的相互作用

    通过应用局部、始终开启的可塑性规则，我们能够在由两个群体组成的递归网络中学习复杂序列，我们的模型具有资源高效性，仅需少量神经元即可学习复杂序列，我们通过鸟鸣学习的模拟中展示了这些特点，在该模拟中，我们的网络首先学习了一个长的非马尔可夫序列，尽管存在外部干扰，它们能够稳健地复现此序列。

    Feb, 2024

  • 语音识别中门控循环神经网络的记忆可视化

    本文使用可视化技术研究了 LSTM 和 GRU 在语音识别任务中的行为，并提出两种简单而有效的网络结构修改：LSTM 中的懒惰单元更新和残差学习的快捷连接。两种修改都使得网络更加易于理解和强大。

    Sep, 2016

  • 有序神经元：将树结构集成到循环神经网络中

    本文提出了一种新的循环神经网络体系结构，称为 ON-LSTM，通过对神经元进行排序来添加合理的生物学归纳偏差，从而增强了语言建模、无监督解析、有针对性的句法评估和逻辑推理等四项任务的性能表现。

    Oct, 2018