深度重连:训练极度稀疏的深度网络
本文提出了一种基于神经系统突触发生和消失机制的梯度重连算法,用于 SNNs 中的连接性和权重优化,实现了对网络结构的优化而无需重新训练,实验结果表明,该方法能够在 MNIST 和 CIFAR-10 数据集上实现对 SNNs 性能的最小损失,并且在 0.73% 的连接性下,只有约 3.5% 的精度损失,具有优秀的结构优化能力。
May, 2021
该研究基于 “训练和限制” 方法,将基于 Elman RNN 的自然语言处理任务映射到 TrueNorth 芯片上,并通过脉冲神经元的模拟使用少量的 CPU 核心,实现了低功耗的 74% 准确度。
Jan, 2016
本篇论文介绍了一种名为 Event-Driven Random BP (eRBP) 规则的神经形态计算方法,可用于学习深度表示,其具有在神经形态硬件中实现的优势,并且与 GPU 上的人工神经网络模拟相比,分类准确性相近且在学习过程中鲁棒性较强。
Dec, 2016
介绍了一种新的动态稀疏重参数化方法,能够更有效地训练深度卷积神经网络,在固定的参数预算下达到最佳准确率,并发现在训练过程中探索结构自由度比增加额外的参数对网络性能的提升更为有效。
Feb, 2019
本文介绍了一种基于稀疏连接实现深度神经网络的方法,并提出了一种有效的硬件架构,该方法可以减少高度复杂的神经网络的内存需求,并且可以降低能耗高昂的问题。该方法的实现可以在三个流行数据集上提高准确性,同时减少高达 90% 的连接和存储需求以及 84% 的能耗消耗。
Nov, 2016
近期的研究表明,深度强化学习代理在有效利用网络参数方面存在困难。我们利用先前对稀疏训练技术优势的了解,证明逐渐减少参数的大小可以使代理最大化参数的有效性。这导致网络在性能上比传统网络有显著的改进,并呈现出一种 “按比例尺” 的特性,只使用了网络参数的一小部分。
Feb, 2024
本文回顾了人工神经网络历史并将现代理论神经科学应用于深度学习领域中的实验,使用迭代幅值剪枝来训练稀疏连接的网络,发现仅仅靠权重稀疏并不能提高图像的噪声鲁棒性,最近,开发出利用权重稀疏性,活性稀疏性和主动树突建模来方便持续学习的模型,本文重新验证了这些发现,并将该方法扩展到更具挑战的连续学习任务上,并公开了代码。
Sep, 2022
使用新的二进制硬件跨棒学习算法实现深度神经网络在 TrueNorth 芯片上的部署,可在以前工作的基础上实现显著提高(76%与 86%准确度)同时保持良好的性能 MNIST 手写数据集。
May, 2017
本文中,我们提出了一种基于稀疏连接的神经网络模型,使用自适应稀疏连接和纯化神经元的方法进行训练,并将其应用于 MLP 模型上,测试结果表明,该方法在 15 个数据集上表现出了竞争性的分类和泛化性能。
Jun, 2019