自标准化神经网络

Jun, 2017

Self-Normalizing Neural Networks

Günter Klambauer, Thomas Unterthiner, Andreas Mayr, Sepp Hochreiter

TL;DR本文介绍了一种名为自标准神经网络 (SNNs) 的新型前馈神经网络，使用放缩指数线性单元 (SELU) 激活函数，自动进行归一化处理，并具有极高的性能表现，可以在多个机器学习任务中超越标准的前馈神经网络。

Abstract

deep learning has revolutionized vision via convolutional neural networks (CNNs) and natural language processing via recurrent neural networks (RNNs). However, success stories of deep learning with standard feed-

deep learning feed-forward neural networks self-normalizing neural networks scaled exponential linear units uci machine learning repository

发现论文，激发创造

重新思考规范化和残差块在脉冲神经网络中的作用

通过使用一种新的、简单的归一化技术 ——postsynaptic potential normalization，本研究解决了深度 spiking neural networks 由于隐藏层中 spiking neurons 的过度激发而难以训练的问题，并且可以通过预激活残差块训练多达 100 层，且比其他使用其他规范化方法的模型表现更好。

Mar, 2022

深入研究直接训练更大尺寸的脉冲神经网络

提出了一种基于阈值相关批归一化（tdBN）和空间时间反向传播（STBP）的方法，可直接训练深度脉冲神经网络（SNN），并在神经形态硬件上实现其推理，单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率，是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。

Oct, 2020

简化随机前向神经网络

本文提出了一种新的中间随机模型，称为简化 SFNN，该模型可以建立在任何基线 DNN 之上，并通过简化其上部随机单元来近似某些 SFNN。我们将 DNN-> Simplified-SFNN-> SFNN 三个模型联系在一起，从而自然地引导随机模型的高效训练过程，利用 DNN 的预训练参数。使用多个流行的 DNN，我们展示了如何将它们有效地转移到相应的随机模型，以进行 MNIST，TFD，CASIA，CIFAR-10，CIFAR-100 和 SVHN 数据集的多模态和分类任务。

Apr, 2017

奇点扰动的神经网络

我们在简化的双曲线两点边界值问题的模型类别中，证明了解集的深度神经网络 (DNN) 表达能力率的上界，并给出了与奇异扰动参数一致的 Sobolev 范数上的表达能力上界。我们证明了各种 DNN 体系结构的表达能力率上界，包括 ReLU NN，spiking NN，$ anh$- 和 sigmoid-activated NN。后者激活函数可以显式地表示 “指数性边界层解特征”，在 DNN 的最后一层中，即在浅层子网络中，并具有更好的表达能力率上界。我们证明了所有 DNN 体系结构均允许在所谓的 “能量” 和 “平衡” Sobolev 范数中，对于解析输入数据进行强大的指数解表达能力。

Jan, 2024

可伸缩的神经网络核

我们介绍了可扩展的神经网络内核 (SNNK)，它们是正常前馈层 (FFLs) 的替代品，能够近似表示后者，但具有有利的计算属性。SNNK 有效地将输入从 FFL 的参数中分离出来，然后通过点积内核在最终计算中将它们连接起来。它们也更具表达力，能够模拟超出参数 - 输入矢量点积函数之外的复杂关系。我们还介绍了神经网络捆绑过程，将 SNNK 应用于压缩深度神经网络架构，从而获得额外的压缩收益。在其极端版本中，它导致完全捆绑的网络，其最优参数可以通过显式公式表示出来，适用于多个损失函数 (例如均方误差)，开启了绕过反向传播的可能性。作为我们分析的产物，我们介绍了通用随机特征 (URFs) 机制，用于实例化多种 SNNK 变体，并在可扩展内核方法的背景下引发了有趣的研究。我们对所有这些概念进行了严格的理论分析，并进行了广泛的实证评估，包括点状内核估计和受 SNNK 启发的适配器层的 Transformer 微调。我们的机制可以将可训练参数的数量减少 5 倍，同时保持竞争力的准确性。

Oct, 2023

批量归一化循环神经网络

该研究探讨了将批归一化应用于循环神经网络的效果，结果发现在输入到隐藏层的转换中，批归一化可以加快训练收敛速度，但对于语言建模和语音识别任务上的泛化能力没有提高；同时，应用批归一化到 RNNs 比应用到前馈网络更具有挑战性，但是某些变体仍然是有益的。

Oct, 2015

用于文本分类的脉冲卷积神经网络

本研究介绍了一种用于文本分类的 “转换 + 微调” 两步方法，提出了一种将预训练词嵌入编码为脉冲训练的简单而有效的方式，并经验证通过使用替代梯度进行微调后，这些转换后的脉冲神经网络在英文和中文数据集上能够以更少的能量消耗与深度神经网络有可比较的结果，并且这样的脉冲神经网络比深度神经网络更鲁棒抵御对抗性攻击。

Jun, 2024

脉冲神经网络的直接训练：更快，更大，更好

通过提出神经元规范化技术和直接学习算法，以及缩小速率编码窗口和将漏电整合 - 击发（LIF）模型转换为显式迭代版本的 Pytorch 实现方法，训练了高性能的 CIFAR10 数据集上的深度 SNN，开辟了探究 SNN 潜力的新途径。

Sep, 2018

脉冲深度残差网络

提出了一种有效的方法，将 ResNet 转换为名为 S-ResNet 的脉冲神经元网络，该方法采用转换模型和补偿机制来降低离散化引起的误差，并在 CIFAR-10，CIFAR-100 和 ImageNet 2012 数据集上实现了比现有 SNN 途径更好的性能，这是第一次在大规模数据集上构建超过 40 层深度的 SNN，并获得与 ANNs 相当的性能。

Apr, 2018

单纯神经网络

该研究介绍了单纯神经网络（SNNs），作为图神经网络在特殊拓扑空间，即单纯复合体上的一般化形式。这种新的神经网络结构，能够处理包括向量场或 n 重合作网络等更多元的数据，也定义了适当的卷积方式，并在合著关系复合体的数据丢失方面进行测试。

Oct, 2020