Apr, 2017

简化随机前向神经网络

PDF
TL;DR本文提出了一种新的中间随机模型，称为简化 SFNN，该模型可以建立在任何基线 DNN 之上，并通过简化其上部随机单元来近似某些 SFNN。我们将 DNN-> Simplified-SFNN-> SFNN 三个模型联系在一起，从而自然地引导随机模型的高效训练过程，利用 DNN 的预训练参数。使用多个流行的 DNN，我们展示了如何将它们有效地转移到相应的随机模型，以进行 MNIST，TFD，CASIA，CIFAR-10，CIFAR-100 和 SVHN 数据集的多模态和分类任务。
stochastic feedforward neural networkssimplified-sfnntraining methodspre-trained parametersefficiency
发现论文，激发创造
  • 学习二元随机前向神经网络的技术

    研究了使用 M 个隐藏层激活的样本进行训练时的随机网络，探讨了三种潜在好处，即允许学习一对多类型的映射，可用于内部结构重要的结构预测问题以及在一般情况下启用更好的概括性能。同时提出了两种新的梯度估计器来训练随机网络，实验证明这两种估计器在训练算法中表现优异。

    Jun, 2014

  • 自标准化神经网络

    本文介绍了一种名为自标准神经网络 (SNNs) 的新型前馈神经网络，使用放缩指数线性单元 (SELU) 激活函数，自动进行归一化处理，并具有极高的性能表现，可以在多个机器学习任务中超越标准的前馈神经网络。

    Jun, 2017

  • 随机配置网络：基础和算法

    本文提出了一种用于神经网络的随机化方法，即随机配置网络，其采用随机分配输入权重和偏差节点的方法，以监督机制为基础，通过分析地计算输出权重，建立了三种回归问题的版本。研究结果显示，该方法具有较少人为干预的优点，可自适应随机参数设定，学习速度快，泛化能力强。

    Feb, 2017

  • StochasticNet：通过随机连接形成深度神经网络

    本研究旨在利用 StochasticNet 的随机连接性形成神经网络的结构，用以提高神经网络对特定任务的执行能力和减少过度拟合，并在 CIFAR-10，MNIST，SVHN 和 STL-10 四个数据集上训练 StochasticNet，结果表明 StochasticNet 在数据集上展现出了比传统神经网络更好或者相似的准确性能。

    Aug, 2015

  • 可伸缩的神经网络核

    我们介绍了可扩展的神经网络内核 (SNNK)，它们是正常前馈层 (FFLs) 的替代品，能够近似表示后者，但具有有利的计算属性。SNNK 有效地将输入从 FFL 的参数中分离出来，然后通过点积内核在最终计算中将它们连接起来。它们也更具表达力，能够模拟超出参数 - 输入矢量点积函数之外的复杂关系。我们还介绍了神经网络捆绑过程，将 SNNK 应用于压缩深度神经网络架构，从而获得额外的压缩收益。在其极端版本中，它导致完全捆绑的网络，其最优参数可以通过显式公式表示出来，适用于多个损失函数 (例如均方误差)，开启了绕过反向传播的可能性。作为我们分析的产物，我们介绍了通用随机特征 (URFs) 机制，用于实例化多种 SNNK 变体，并在可扩展内核方法的背景下引发了有趣的研究。我们对所有这些概念进行了严格的理论分析，并进行了广泛的实证评估，包括点状内核估计和受 SNNK 启发的适配器层的 Transformer 微调。我们的机制可以将可训练参数的数量减少 5 倍，同时保持竞争力的准确性。

    Oct, 2023

  • LaSNN: 深度脉冲神经网络中的有效高效培训之层级 ANN 到 SNN 蒸馏

    通过引入 attention 机制和采用分层知识蒸馏的方法，提出了新的 SNN 训练框架 LaSNN，实现了与 ANN 比较的竞争性准确率和比转换的 SNN 快 20 倍的推理速度，并且具有灵活性和可扩展性。

    Apr, 2023

  • 关于 Feynman-Kac 训练的部分贝叶斯神经网络

    我们提出了一种有效的基于采样的训练策略，将 pBNN 的训练过程表述为模拟一个 Feynman-Kac 模型，并使用序贯蒙特卡洛采样器的变体来同时估计参数和这个模型的潜在后验分布，在各种合成和真实数据集上展示了我们提出的训练方案在预测性能方面优于最先进的方法。

    Oct, 2023

  • 具有随机层的序列神经模型

    本文介绍了一种新的神经网络模型 —— 随机循环神经网络，该模型能高效地传播潜在状态的不确定性来构建序列神经生成模型，并在语音和音乐建模方面取得了比同类方法更好的结果。

    May, 2016

  • 贝叶斯深度网络广义线性模型（GLM）和广义线性混合模型（GLMM）

    使用深度前馈神经网络、广义线性模型和贝叶斯推断等方法，提出一种高精度的回归和分类方法，能够在原有方法中量化预测不确定性并进行变量选择，并在多种模拟和真实数据示例中得到了令人满意的结果。

    May, 2018

  • 大型语言模型预训练中稀疏前馈网络的统一视角

    本文分析了 S-FFN 这种大而稀疏的前馈网络的两个主要设计选择：内存块（或专家）大小和内存块选择方法，并提供了它们相对有效性和效率的见解。在语言建模前训练中，我们发现一种更简单的选择方法 ——Avg-K，通过均值聚合隐藏状态选择块，可以比现有的 MoE 架构实现更低的困惑度。

    May, 2023