Oct, 2023

灵感于复杂集体的带有本地误差信号的领导者 - 跟随者神经网络

PDF
TL;DR提出了一种灵感来源于自然界集合组织规则的神经网络架构，该架构包含领导者和追随者，并通过利用局部误差信号和全局损失进行训练，实现了比以往基于反向传播算法的 MNIST 和 CIFAR-10 算法具有显著更低的错误率，甚至在 ImageNet 的情况下，其 LFNN-l 表现出更好的可伸缩性，且优于以往基于反向传播算法的算法。
collective behaviorneural network architectureleader-follower neural networklocal error signalsbackpropagation
发现论文，激发创造
  • 使用本地错误信号训练神经网络

    该论文探讨了使用分层损失函数进行神经网络分类的监督训练的方法，表明可在多种图像数据集上达到最先进水平，在局部学习的情况下，使用本地误差可能是朝着更符合生物学的深度学习的一步。

    Jan, 2019

  • 在多智能体网络框架中寻求下一层神经元的注意力进行类反向传播训练

    神经网络训练中的局部目标与错误反向传播在效率和可扩展性方面具有相似性，本研究通过实验表明多智能体神经网络比错误反向传播在遗忘方面具有更出色的性能。

    Oct, 2023

  • 集体深度学习的有效理论

    我们通过对于耦合的人工神经网络系统中集体学习的出现进行解析，引入了一个最小模型，通过考虑每个神经网络单元参数的本地学习动态和单元之间的扩散耦合之间的竞争来凝结几个最近的分散算法。

    Oct, 2023

  • 基于脉冲神经元的脑启发式多层感知器

    本文介绍了如何在多层感知器（MLP）中使用漏泄整合和火（LIF）神经元来构建以 SNN 为灵感的神经网络机制，通过改进局部特征沟通机制来提高精度，最终在 ImageNet 数据集上取得 81.9％至 83.5％的 top-1 准确度的最新成果。

    Mar, 2022

  • 大规模多标签文本分类 - 重新审视神经网络

    本文研究了神经网络在多标签分类中的应用，并提出了一种使用深度学习算法的简单神经网络模型取代 BP-MLL 模型进行文本分类，证明了这些模型在六个不同属性的数据集上具有较好的性能表现。

    Dec, 2013

  • 面向低功耗边缘智能的脉冲神经网络联邦神经形态学学习

    通过引入在线联邦学习，提出了一种基于 SNN 的在线联邦学习规则，称为 FL-SNN，通过局部和全局反馈信号实现协作训练，从而解决了有限数据的问题，并在通信负载和准确度之间实现了灵活的权衡。

    Oct, 2019

  • 仿生学的神经元适应提高神经网络的学习能力

    通过多层感知器和卷积神经网络，研究对比黑比学习和平衡传播算法及其加宽自适应能力的表现及其仿生学上的意义。

    Apr, 2022

  • 在递归脉冲神经网络中通过稳定的局部学习预测非线性动态

    提出一种基于前馈和反馈连接的异质性尖峰神经元网络的监督学习方案，采用负收益的反馈固定随机连接，与在线和本地规则同时改变权重，在线学习线性，非线性和混沌动力学以及两段臂的动力学。

    Feb, 2017

  • 面向脑启发式设计以解决人工神经网络的不足之处

    研究了神经科学的机制对 AI 算法的发展具有重要价值，人工神经网络应该借鉴大脑神经元的学习方式，建立个性化的错误空间以预测更加准确的类别和特征，取得更好的迁移性能。

    Jun, 2023

  • 理解局部竞争网络

    本研究旨在探讨神经网络激活函数中的本地竞争机制，并发现这种自我模块化特性的有益性，证明这种特性能有效提高网络性能，此外还表明该方法在利用神经网络有效地检索大型数据集方面具有广泛应用前景。

    Oct, 2014