Apr, 2017

ApproxDBN：用于鉴别式深度置信网络的近似计算

PDF
TL;DR通过有限精度变量、关键性分析、贪婪策略等技术实现近似深置信网络 (ApproxDBNs)，在保证目标准确率的前提下，最大化降低硬件实现的能耗。实验结果表明，通过限制准确度损失，能够显著降低硬件的处理精度。
probabilistic generative neural networksapproximate computingdeep belief networkslimited precisionpower savings
发现论文，激发创造
  • 用于图像去噪的深度信念网络

    本文提出了一种新的基于深度置信网络的图像去噪方法，在 MNIST 数据集上的应用结果显示，该方法在去噪方面取得了显著的成果。

    Dec, 2013

  • 深度信念网络和受限玻尔兹曼机的通用逼近结果的改进

    本文提出了一种新的算法改善了 Restricted Boltzmann Machines (RBM) 和 Deep Belief Networks (DBN) 在集合二进制向量的分布表示方面的问题，证明了一个由 Le Roux 和 Bengio 提出的猜想。

    May, 2010

  • 训练神经网络以在近似硬件上执行

    研究表明，近似计算方法在深度学习中具有巨大潜力，尤其适用于受电源预算限制的便携设备的推理任务，但由于缺乏针对近似计算的训练方法，其潜力尚未得到充分发挥。本文提出了近似硬件训练的方法，并演示了这些方法如何专门针对近似硬件进行训练，并提出了加速训练过程的方法，加速率高达 18 倍。

    Apr, 2023

  • 基于深度神经网络进行定制硬件逼近：过去和未来

    该论文提供了有关高性能网络推断的近似方法的全面评估，并深入讨论了这些方法在自定义硬件实现中的有效性，旨在启发该领域的新发展。

    Jan, 2019

  • 深度生成模型中的随机反向传播和近似推理

    本文介绍了一种利用深度神经网络和近似贝叶斯推理相结合的广义深度生成模型，并引入了用于表示近似后验分布的识别模型，并利用随机反向传播来开发算法，实现生成和识别模型参数的联合优化，最终将模型应用于实际数据集，生成更真实的分布、准确地恢复缺失数据，并在高维数据的可视化上发挥了重要作用。

    Jan, 2014

  • 深度神经网络近似理论

    本文通过深度神经网络的 Kolmogorov 最优化来发展其基本极限，并阐述了深度网络对于不同函数类的 Kolmogorov 最优逼近性，其提供了指数级的逼近精度，并且在逼近足够光滑的函数时，相较于有限宽深网络，有限宽深层网络需要更小的连通性。

    Jan, 2019

  • 关于贝叶斯神经网络中近似推断表现的探讨

    通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

    Sep, 2019

  • 近似后验推断对贝叶斯深度学习在对抗和越界设置中的影响

    本研究旨在探索深度学习模型的不确定性量化方法，并考虑基于贝叶斯推理的模型在 OoD 检测中的表现，结果显示在某些情况下，这种模型略高于传统的深度神经网络，对于对新输入的敏感性的原因进行研究，并对对抗噪声鲁棒性的影响进行了研究。

    Sep, 2020

  • 神经网络中的隐含权重不确定性

    该论文介绍了 Bayes by Hypernet，一种新的变分逼近方法，通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信，并且不能产生有意义的不确定性度量的短板，本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性，同时满足复杂度、可扩展性和准确度的要求。

    Nov, 2017

  • 具有伯努利近似变分推断的贝叶斯卷积神经网络

    通过在 CNN 的内核上建立概率分布，使用伯努利变分分布来近似模型的不可切合后验，并将 dropout 网络训练视为 Bayesian 神经网络中的近似推理。相比于标准技术，我们的模型在小数据上具备更好的鲁棒性，并在 CIFAR-10 上的分类准确率上取得了发表的最新结果的显著改善。

    Jun, 2015