Aug, 2023

结构稀疏贝叶斯神经网络中稀疏与缩减先验的综合研究

PDF
TL;DR基于市场下行底部的趋势，通过计算国内主要增量资金、流动性、情绪、技术指标等多因素，进行权重计算，提出了基于隐藏半马尔科夫模型的股票量化分析方法。
sparse deep learningmodel compressionbayesian neural networksspike-and-slab group lassospike-and-slab group horseshoe
发现论文，激发创造
  • 稀疏深度学习的高效变分推断及理论保证

    本文旨在通过完全贝叶斯处理下的尖峰 - 平板先验训练稀疏深度神经网络，通过连续放松伯努利分布开发一组计算有效的变分推断方法。实证结果表明，这种变分程序不仅提供了关于贝叶斯预测分布的不确定性量化，而且还能通过训练稀疏多层神经网络实现一致的变量选择。

    Nov, 2020

  • 结构化 Horseshoe 先验贝叶斯神经网络的变分学习

    本文介绍了针对贝叶斯神经网络的节点选取问题，使用马蹄铁 Prior 激活 Bayesian 神经网络的方法，提高了模型紧凑度，不影响性能表现，特别适用于小样本情况下的强化学习。

    Jun, 2018

  • 贝叶斯模型简化的深度神经网络的贝叶斯稀疏化

    深度学习的复杂模型限制了其巨大潜力的发挥，需要高效的稀疏化技术。贝叶斯稀疏化是一种关键方法，能够设计出在各种深度学习应用中既计算效率高又性能竞争力强的模型。本研究指出贝叶斯模型简化是一种更高效的模型参数修剪方法，相对于现有的基于随机变分推断的方案，具有更好的计算效率和修剪率。研究中通过对各种深度学习架构的实例进行了验证，包括经典的网络如 LeNet 以及现代框架如视觉 Transformer 和 MLP-Mixer。

    Sep, 2023

  • 自适应稀疏结构的剪枝和再生在脉冲神经网络中的应用

    本文提出了一种适应性结构发展的 SNN 方法，引入树突棘突触可塑性、神经元修剪和突触再生，通过神经元修剪、突触限制和突触再生等机制，检测和移除了 SNN 的大量冗余，实现了优化压缩并降低网络能耗。在实验中表明，该方法可以在不同任务中学习适当的压缩率并显著降低网络能耗。

    Nov, 2022

  • 从贝叶斯稀疏到门控循环神经网络

    本文指出，关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆 (LSTM) 网络或先前设计用于序列预测的替代门控反馈网络的结构，从而导致了一种新的稀疏估计系统，当授予训练数据时，可以在其他算法失败的方案中高效地估计最优解，包括在实际方向 - 到达 (DOA) 和三维几何恢复问题中。

    Jun, 2017

  • 稀疏深度学习的后验集中

    该论文研究了一种名为 Spike-and-Slab Deep Learning 的全新深度学习建模方法，该方法采用完全 Bayes 的方式代替 Dropout 正则化，使得深度神经网络能够拥有更好的泛化性能，并且无需事先了解平滑度即可实现顺畅的输入输出映射。此外，该方法提供了深度 ReLU 神经网络的全新理论解释，有望改变未来神经网络的设计与构建方式。

    Mar, 2018

  • 鞋钉及其他压缩先验中的稀疏信息和正则化

    本文提出了两个问题的解决方法：通过全局收缩超参数的先验信息来规定先验以及使用分层先验来规定对于最大系数的正则化的最小级别，并介绍了一种 generalization of the horseshoe prior, 即 regularized horseshoe prior。

    Jul, 2017

  • 深度学习的贝叶斯压缩

    本研究通过采用贝叶斯视角，使用稀疏感知先验来修剪网络，使用 Hierarchical priors 修剪节点并使用后验不确定性确定编码权重的最优固定点精度，使得压缩率达到了最佳水平，并且仍然具有与优化速度或能量效率的方法相竞争的性能。

    May, 2017

  • 稀疏神经网络训练

    本研究介绍了一种使用稀疏计算的神经网络训练和构建方法，通过引入额外的门变量来执行参数选择，并在小型和大型网络上进行实验验证，证明了我们的方法在稀疏神经网络模型的压缩方面取得了最先进的结果。

    Nov, 2016

  • Spike-and-Slab meets LASSO：Spike-and-Slab LASSO 综述

    该研究论文介绍了一种名为 spike-and-slab LASSO 的方法，它是高维数据建模中一种基于惩罚似然和贝叶斯框架的概率构造，并讨论了其在多种模型中的扩展和应用。

    Oct, 2020