适应性神经元凋亡用于加速大规模深度学习系统

Oct, 2016

适应性神经元凋亡用于加速大规模深度学习系统

Adaptive Neuron Apoptosis for Accelerating Deep Learning on Large Scale Systems

Charles Siegel, Jeff Daily, Abhinav Vishnu

TL;DR该研究提出了一种通过在训练过程中低廉地去除不必要的神经元，即神经元凋亡的新技术，以加速深度学习算法的收敛，并成功应用于多个数据集中，在减少参数数量等方面得到了显著改善。

Abstract

We present novel techniques to accelerate the convergence of deep learning algorithms by conducting low overhead removal of redundant neurons -- apoptosis of neurons -- which do not contribute to model learning, during the training phase itself. We provide in-depth theoretical underpin

deep learning neuron apoptosis model convergence parameter reduction adaptive techniques

发现论文，激发创造

从生物到人工神经网络的转化与借鉴

本文探讨了如何利用深度学习来研究神经健康以及在算法模型中解释神经分析的困难。其重要贡献在于调查死亡神经元对人工神经网络性能的影响，以评估这些发现在生物领域的潜在应用，可能对神经系统疾病的治疗有重要影响。

Jun, 2023

对抗神经元剪枝净化植入后门的深度模型

通过 Adversarial Neuron Pruning (ANP) 修复易崩溃的 DNN 神经元，即可在不影响性能的情况下去除后门攻击。

Oct, 2021

生物启发式机器学习：编程化的死亡和复制

研究算法和生物现象的计算方面，探讨使用两种不同的神经元效率措施，以开发机器学习算法，从而改进已经训练好的神经网络的表现。

Jun, 2022

有限、异构数据的深度神经进化：运用小型虚拟池化图像集的神经母细胞瘤脑转移概念证明应用

本研究旨在将深度神经进化算法（DNE）应用于来自不同机构的图像数据集中，以解决人工智能在放射学中的过度拟合和泛化问题，并应用于分类磁共振成像中的神经母细胞瘤脑转移。结果表明，该算法在虚拟的汇总图像数据集上取得了接近完美的分类准确性，为实现临床可行的人工智能提供了重要的贡献。

Nov, 2022

基于发育可塑性启发的深度脉冲和人工神经网络自适应修剪

本文提出了一种发育可塑性启发的自适应剪枝方法，可以动态优化神经网络结构，使其学习效率和速度得到持续和显著的提高，尤其是对于神经形态学数据集的脉冲神经网络而言。

Nov, 2022

适应性神经网络的高效推理

通过自适应选取深度神经网络组件或网络进行评估，可以在不损失准确性的情况下，显著减少计算时间，例如在 ImageNet 图像识别挑战中，最多可加速 2.8 倍，并且仅有最高 5 个命中率的轻微损失。

Feb, 2017

最大麦克斯韦恶魔：通过利用神经元的饱和实现高效修剪

通过研究神经网络中的死亡神经元现象，提出一种基于稀疏性和修剪的简单高效算法，称为 Demon Pruning（DemP），用于网络模型压缩和优化。在 CIFAR10 和 ImageNet 数据集上的实验证明，DemP 优于现有的结构化修剪技术，具有更好的准确性和稀疏性权衡以及更快的训练速度。

Mar, 2024

深度学习中生物学的角色

本文回顾了人工神经网络历史并将现代理论神经科学应用于深度学习领域中的实验，使用迭代幅值剪枝来训练稀疏连接的网络，发现仅仅靠权重稀疏并不能提高图像的噪声鲁棒性，最近，开发出利用权重稀疏性，活性稀疏性和主动树突建模来方便持续学习的模型，本文重新验证了这些发现，并将该方法扩展到更具挑战的连续学习任务上，并公开了代码。

Sep, 2022

梯度下降剪枝神经网络

我们介绍了一种新颖而简单的神经网络剪枝框架，通过引入 Gumbel-Softmax 技术，在端到端的过程中使用随机梯度下降同时优化网络的权重和拓扑结构，实现了网络的卓越压缩能力，保持了在 MNIST 数据集上的高准确性，仅使用了原始网络参数的 0.15％。此外，我们的框架提升了神经网络的可解释性，不仅能够轻松从剪枝网络中提取特征重要性，而且能够可视化特征对称性和信息传递路径，学习策略通过深度学习得到，但却令人惊讶地直观且可理解，专注于选择重要的代表性特征并利用数据模式实现极度稀疏的剪枝。我们相信我们的方法为深度学习剪枝和可解释的机器学习系统的创建开辟了有前途的新途径。

Nov, 2023

神经元发生的深度学习

本文通过加入新神经元到深度神经网络的层中，探索了连续学习的潜力，并通过 MNIST 手写数字数据集和 NIST SD 19 数据集证明了神经发生有助于解决适应性机器学习算法中的稳定性和可塑性两难问题。

Dec, 2016