本研究提出了一种新颖的多出口 Monte-Carlo Dropout（MCD）Bayesian 神经网络，实现了具有低算法复杂度的良好校准预测。此外，我们还提出了一个转换框架，可为多出口 MCD BayesNN 生成基于 FPGA 的加速器，以进一步降低采用 BayesNNs 的障碍。通过引入几种新颖的优化技术，我们的实验表明，我们的自动生成的加速器比 CPU、GPU 和其他最先进的硬件实现具有更高的能量效率。

Aug, 2023

提出了一种新的神经随机丢失搜索框架，旨在自动优化既有基于 dropout 的 Bayesian 神经网络及其硬件 FPGA 实现，实验结果表明该框架能够有效地找到 Pareto 最优设计配置。

Jun, 2024

Bayesian Neural Networks (BayNNs) and uncertainty estimation in spintronics-based computation-in-memory architectures are analyzed with a focus on the reliability of Dropout generation and BayNN computation, proposing a testing framework for Dropout-based BayNN with high fault coverage and minimal training data usage.

Jan, 2024

在本论文中，我们提出了一种用于二元神经网络（BNNs）的新型正则化技术 —— 比例 Dropout（Scale Dropout），以及基于蒙特卡罗比例 Dropout（MC-Scale Dropout）的 Bayesian NNs，用于有效地估计不确定性。我们引入了一种基于自旋电子存储器的计算内存（CIM）架构，相比最先进技术可实现超过 100 倍的能量节省。我们验证了我们的方法，结果显示相对于相关工作，我们的方法在预测性能上有 1% 的改进，并提供了更优的不确定性估计。

Nov, 2023

部署神经网络在资源受限的安全关键系统中面临不确定性和硬件非理想性所带来的挑战，该研究论文总结了一项 (四年级) 博士论文工作，该工作探索了深度学习中可扩展和高效的方法，包括计算内存 (Computation-in-Memory) 使用新兴的阻性非挥发性存储器来估计和降低不确定性。我们采用问题感知训练算法、新颖的神经网络拓扑结构和硬件协同设计解决方案，包括基于自旋电子器件的基于退化的二值贝叶斯神经网络和变分推理技术。这些创新显著提高了异常数据检测、推理准确性和能量效率，从而增加了神经网络实现的可靠性和鲁棒性。

Jan, 2024

本文提出了使用贝叶斯优化来提高深度神经网络抗重量漂移性能的方法，并使用 dropout 来提高网络的鲁棒性。实验结果表明该方法在各种任务（例如图像分类和目标检测）中优于现有技术。

Sep, 2022

本文提出了 VIBNN，一种基于 FPGA 的 BNN 硬件加速器设计，用于解决 BNNs 中的模型不确定性，实现小数据训练；通过深度流水线加速器体系结构实现高伸缩性和高效的内存访问，并提出了两种高性能的 Gaussian 随机数生成器。实验结果表明，所提出的 VIBNN 实现在 FPGA 上能够实现高吞吐量和能效，同时保持与软件实现相似的准确性。

Feb, 2018

本文提出一种新颖的网络架构搜索 (NAS) 方法，用于优化 Bayesian 神经网络（BNN）的精度和不确定性，同时减少推理延迟。与传统的 NAS 不同，该方法使用来自内部和外部分布的数据搜索模型的不确定性性能，从而可以在网络中搜索贝叶斯层的正确位置，并且相对于流行的 BNN 基线，使用的运行时仅为其一小部分，将推理运行时成本分别与 MCDropout 和 deep ensemble 相比在 CIFAR10 数据集上分别降低了 2.98 倍和 2.92 倍。

Feb, 2022

本研究发展了一种新的理论框架，将深度神经网络的 dropout 训练视为深高斯过程中的近似贝叶斯推断。我们的理论框架使我们能够通过 dropout 神经网络建模不确定性，从而解决了在深度学习中表示不确定性的问题，而不会牺牲计算复杂性或测试精度。

Jun, 2015

本文提出了一种利用特征映射相关性估计不确定性的贝叶斯神经网络用于端到端控制，该方法在传统元素级 dropout 方法上实现了更好的模型拟合和更紧密的不确定性估计。

May, 2018