May, 2024

基于分层相关重建的生物启发式联合分布神经元，支持多方向神经网络

PDF
TL;DR人工神经网络对参数进行优化，而生物神经元是多向传播的，可以建模整体联合分布，本文讨论了一种基于多项式基函数的分布神经元的层次相关重构，并通过标准反向传播或新方法进行训练，实现多向传播的数值和概率密度。
发现论文，激发创造
  • 通过循环神经网络的优化出现头向系统的功能和结构特性

    本文研究了神经网络在模拟神经电路的结构和功能方面的表现，通过对啮齿动物和果蝇的头部定向系统进行的研究，证明了神经网络可以自然地产生指南针神经元和移位器神经元等不同类别的神经元，其结果表明，人工神经网络可用于在神经活动和解剖组织层面上研究大脑。

    Dec, 2019

  • 单相对比赫布学习的两个故事

    通过将梯度表示为活动差异的方法进行生物合理性学习算法的搜索，提出了名为 “双向传播” 的完全本地学习算法，弥补了与反向传播的性能差距，无需分离的学习阶段或无穷小的盯人，在稳定性方面仍然与对称盯人无关。

    Feb, 2024

  • 基于海布学习的正交投影，用于脉冲神经网络的持续学习

    基于侧向连接和赫比学习的神经操作提供对脑回路的新见解，并展示了如何在神经系统中实现正交投影，由此解决了关于神经形态计算的遗忘问题。

    Feb, 2024

  • 使用生物合理奖励传播调整卷积脉冲神经网络

    该论文提出一种基于奖励传播的算法，该算法应用于脉冲神经网络（SNN）架构中的脉冲卷积和全连接层，该算法能够替代标准反向传播算法，实现对 SNN 的训练。使用该算法的 SNN 在空间和时间任务上的表现已经得到验证，达到了 BP-SNN 的类似准确度并节省了 50％的计算成本。

    Oct, 2020

  • 结构化信用分配与协调探索

    使用 Boltzmann 机器或经常性网络进行协调探索，从而加快多个基于 REINFORCE 的随机和离散单元的训练速度，甚至超过直接传递估计器 (STE) 反向传播算法。

    Jul, 2023

  • 秩序中的秩序：结构化神经元的循环网络中发育和学习的相互作用

    通过应用局部、始终开启的可塑性规则，我们能够在由两个群体组成的递归网络中学习复杂序列，我们的模型具有资源高效性，仅需少量神经元即可学习复杂序列，我们通过鸟鸣学习的模拟中展示了这些特点，在该模拟中，我们的网络首先学习了一个长的非马尔可夫序列，尽管存在外部干扰，它们能够稳健地复现此序列。

    Feb, 2024

  • 分层联想记忆

    本文描述了一种完全反馈的关联记忆模型，具有任意数量的层，其中一些层可以是局部连接的（卷积），以及相应的能量函数，该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈，以帮助较低层神经元决定它们对输入刺激的响应。

    Jul, 2021

  • 基于相关信息最大化的仿生神经网络进行相关源分离

    提出一种基于神经网络的生物学可行模型，它通过利用源域信息提取相关的潜在因素。该模型采用最大相关信息转移作为分离目标，遵循输出限制约束，从而具有本地学习规则。使用不同的源域选择，可灵活地建模复杂的潜在结构，从而具有出色的相关源分离能力。

    Oct, 2022

  • 树突使人工神经网络具备准确、稳健和参数高效的学习能力

    利用生物树突的结构连接性和受限采样特性，提出了一种新的人工神经网络架构，通过不同的学习策略实现对多个类别的响应，使得树突人工神经网络在图像分类任务中具有更高的鲁棒性和更低的可训练参数数量。

    Apr, 2024

  • 生物可信神经网络的研究：大脑启发机制在持续学习中的作用和交互

    通过生物学上的神经元网络组合中的多种互补机制，可以在人工神经网络中实现连续学习。

    Apr, 2023