Nov, 2015

随机突触实现高效的类脑学习机制

PDF
TL;DR本文介绍一种基于突触随机性的神经网络模型 —— 突触采样机，它利用突触随机性进行 Monte Carlo 抽样和无监督学习。该模型具有很好的稀疏性和鲁棒性，同样适用于离散时间和连续时间的人工神经元模型。其中的局部突触可塑性规则实现了一种事件驱动的对比度下降学习，可用于在线生成模型。相较于现有的基于脉冲的无监督学习方法，突触采样机具有更好的表现，并有望应用于基于脉冲的大脑仿真硬件中进行在线学习。
synaptic stochasticityunsupervised learninggenerative modelsspiking neuronsevent-driven
发现论文，激发创造
  • 神经网络的突触抽样

    概率人工神经网络通过将权重视为伯努利硬币翻转，直接对神经网络进行采样，并在几乎保持完全确定性性能的同时描述了正确和不正确的神经网络输出的不确定性。

    Nov, 2023

  • 短期突触可塑性脉冲神经元形成更优秀的生成网络

    本文提出利用短期可塑性为脉冲神经网络提供与非脉冲神经网络不同的计算优势，并使用节约的局部突触可塑性模拟温度相关技术来解决网络计算困难性问题。这些网络在处理生成任务时表现出出色性能，在任务不平衡的情况下，它们甚至可以胜过传统算法。

    Sep, 2017

  • SNNs 中的集成可塑性和网络适应性

    介绍了一种新的基于熵和网络激活的集成学习方法，该方法与仅使用尖峰活动操作的尖峰率神经元修剪技术相结合，用于处理两个脑电图数据集进行分类实验，结果表明这种修剪低尖峰率神经元群集导致更好的泛化能力。

    Mar, 2022

  • 递归神经网络中的表达性概率抽样

    使用功能分析和随机微分方程的工具，探索基于采样的脑功能贝叶斯模型中神经动力学机制在复杂分布中的采样能力的最小体系结构要求，并提出了能够从任意概率分布中进行采样的储液器 - 采样网络（RSN）以及基于去噪评分匹配的有效训练过程，从而实现 Langevin 采样，并在实验中展示了该模型从多个复杂数据分布中进行采样的能力，探讨了其在开发基于采样的大脑模型的潜力。

    Aug, 2023

  • 脉冲神经网络的突触阈值协同学习方法

    本文发展了一种新的 SNN 训练方法，即突触阈值协同学习 (Synapse-Threshold Synergistic Learning)，该方法同时训练 SNN 中的突触权重和阈值。研究结果表明，与仅使用突触学习或阈值学习的 SNN 相比，使用本文方法训练的 SNN 在各种静态和神经形态数据集上都具有明显更高的准确性，且可通过引入广义联合决策框架进一步提高性能。

    Jun, 2022

  • 网络可塑性作为贝叶斯推断

    通过统计学习理论的通用结论，我们提出了一个模型，即通过采样网络结构的后验分布，突触可塑性和神经元网络可以进行概率推断，这个模型比现有的模型更好地解释了网络可塑性的随机特性对神经可塑性的影响。

    Apr, 2015

  • StochasticNet：通过随机连接形成深度神经网络

    本研究旨在利用 StochasticNet 的随机连接性形成神经网络的结构，用以提高神经网络对特定任务的执行能力和减少过度拟合，并在 CIFAR-10，MNIST，SVHN 和 STL-10 四个数据集上训练 StochasticNet，结果表明 StochasticNet 在数据集上展现出了比传统神经网络更好或者相似的准确性能。

    Aug, 2015

  • 低功耗神经形态处理硬件

    本文回顾了构建新一类仿效人脑以时间编码和处理信息的信息处理引擎所涉及的一些体系结构和系统级设计方面，以解决能效问题。

    Jan, 2019

  • 异质神经元和突触动力学实现高效率自主学习：理论与设计原则

    本文研究证明神经元和突触动态的异质性可以降低复杂神经网络的射击活动并提高预测性能，在无监督的学习中实现高效的射击，提高了神经网络的内存容量和分类预测性能。

    Feb, 2023

  • 具备复杂突触的持续强化学习

    本文研究了使用突触模型可以减轻人工神经网络中存在的 “灾难性遗忘” 现象，从而实现多时间尺度的持续学习并减少经验回放数据库在任务内的遗忘。

    Feb, 2018