神经网络架构的贝叶斯学习
这篇研究论文探究了一种新型的贝叶斯深度学习,通过在网络结构上执行贝叶斯推断来加强深度网络的不确定性估计,并提出了一种有效的随机变分推断方法,以统一网络结构和权重的学习。
Nov, 2019
本文提出一种基于贝叶斯网络结构学习的方法,用于无监督结构学习深度神经网络,通过生成图,构建其随机反向,然后构建一个判别图,证明生成图的潜变量之间的条件依赖关系在条件 “分类条件下” 丢失在判别图,从而实现通用网络深层(卷积和密集)的学习结构替代,在保持分类准确性的同时显著减少计算成本。
Jun, 2018
研究了深度神经网络中参数数量的问题,提出了一种可学习的三态 ReLU 参数和一个平稳的正则化方法,通过减少不必要的神经元,可以在不影响预测准确性的情况下显著减少参数数量。
Nov, 2015
本研究旨在利用模型不确定性作为 BNN 结构学习的框架,提出了可与模型空间约束结合的可扩展变分推理方法,试图在模型和参数的联合空间中进行推理,进而实现结构和参数不确定性的组合,并在基准数据集上进行了实验,表明使方法比普通 Bayesian neural networks 更加稀疏,但得到了与竞争模型相当的精度结果。
May, 2023
论文旨在通过提出基于结构的一阶优化算法和网络集合与个体网络之间的一种新对应关系,发展人工神经网络的学习权优化和泛化理论基础,进而在具有远远更多参数的网络中探索正则化的作用。
Oct, 2022
本文提出一种新颖的网络架构搜索 (NAS) 方法,用于优化 Bayesian 神经网络(BNN)的精度和不确定性,同时减少推理延迟。与传统的 NAS 不同,该方法使用来自内部和外部分布的数据搜索模型的不确定性性能,从而可以在网络中搜索贝叶斯层的正确位置,并且相对于流行的 BNN 基线,使用的运行时仅为其一小部分,将推理运行时成本分别与 MCDropout 和 deep ensemble 相比在 CIFAR10 数据集上分别降低了 2.98 倍和 2.92 倍。
Feb, 2022
本文提出部分随机性无限深度贝叶斯神经网络 (Partially Stochastic Infinitely Deep Bayesian Neural Networks),将部分随机性融入无限深度神经网络框架中,并通过改进现有的架构,提高了训练和推理的计算效率以及稳健性、不确定性量化和内存效率。作者在实验中通过多个任务的经验评估证明了该架构在下游任务性能和不确定性量化方面优于现有架构,并且更加高效。
Feb, 2024
本文提出一种方法在深度神经网络训练期间同时优化网络结构和权重参数的概率分布,可用于解决多种网络结构优化问题,包括层次选择、单元类型选择和连接选择,实验结果表明该方法能够找到适当且具有竞争力的网络结构。
Jan, 2018
本文提出了一种新颖的贝叶斯神经网络架构,可以通过推断不同权重共享方案的后验分布来仅从数据中学习不变性。当在包含特定不变性的数据集上进行训练时,我们的模型优于其他不变变体的结构。没有进行数据增强时同样成立。
Jul, 2021