在硬件加速器中实现基于神经网络的计算芯片的性能、缺陷与测试向量生成方法的改进和优化问题研究

May, 2024

部署神经网络在资源受限的安全关键系统中面临不确定性和硬件非理想性所带来的挑战，该研究论文总结了一项 (四年级) 博士论文工作，该工作探索了深度学习中可扩展和高效的方法，包括计算内存 (Computation-in-Memory) 使用新兴的阻性非挥发性存储器来估计和降低不确定性。我们采用问题感知训练算法、新颖的神经网络拓扑结构和硬件协同设计解决方案，包括基于自旋电子器件的基于退化的二值贝叶斯神经网络和变分推理技术。这些创新显著提高了异常数据检测、推理准确性和能量效率，从而增加了神经网络实现的可靠性和鲁棒性。

Jan, 2024

在本论文中，我们提出了一种用于二元神经网络（BNNs）的新型正则化技术 —— 比例 Dropout（Scale Dropout），以及基于蒙特卡罗比例 Dropout（MC-Scale Dropout）的 Bayesian NNs，用于有效地估计不确定性。我们引入了一种基于自旋电子存储器的计算内存（CIM）架构，相比最先进技术可实现超过 100 倍的能量节省。我们验证了我们的方法，结果显示相对于相关工作，我们的方法在预测性能上有 1% 的改进，并提供了更优的不确定性估计。

Nov, 2023

本文介绍了基于深度学习的近似贝叶斯神经网络和多项式归一化流方法，应用于天体物理参数恢复，发现与标准贝叶斯神经网络和翻转估计器相比，该方法能够更好地提高预测性能和准确估计不确定性，缓解变分参数的误差引入，并得到更接近真实后验分布的预测分布，从而为使用网络提供更合理的预测分布。该方法提高了维度的灵活性，有助于恢复大量的天体物理参数。

Jan, 2023

本文研究了模拟交叉开关中的非理想误差，通过在线优化进行微调，以减少训练成本和内存，并减少量化误差和非理想误差，提高深度神经网络的性能。

May, 2023

本文提出一种新颖的网络架构搜索 (NAS) 方法，用于优化 Bayesian 神经网络（BNN）的精度和不确定性，同时减少推理延迟。与传统的 NAS 不同，该方法使用来自内部和外部分布的数据搜索模型的不确定性性能，从而可以在网络中搜索贝叶斯层的正确位置，并且相对于流行的 BNN 基线，使用的运行时仅为其一小部分，将推理运行时成本分别与 MCDropout 和 deep ensemble 相比在 CIFAR10 数据集上分别降低了 2.98 倍和 2.92 倍。

Feb, 2022

提出了基于随机计算的 Binarized Neural Networks，其输入也进行了二值化，仿真实验表明这样的网络在 Fashion-MNIST 和 CIFAR-10 数据集上可以接近常规的 Binarized Neural Networks 的性能，同时适应了硬件限制的 Binarized Neural Networks 可以在面积和能耗上节省大量资源。

Jun, 2019

通过贝叶斯学习的视角考虑深度神经网络的对抗训练，并提出了一种具有可证明保证的贝叶斯神经网络（BNN）的对抗训练的原则性框架。该方法可在 MNIST、FashionMNIST 和 CIFAR-10 上训练出可证明鲁棒性的模型，并用于不确定性校准。这是第一次直接训练可证明的 BNN，可促进在安全关键应用中的部署。

Feb, 2021

深度神经网络（DNN）是各种计算机视觉任务的强大工具，但它们经常在可靠的不确定性量化方面遇到困难 - 这是实际应用的关键要求。贝叶斯神经网络（BNN）能够进行不确定性估计，但无法扩展到高度不稳定的大型 DNNs，这些 DNNs 难以训练。为了解决这个挑战，我们引入了适应性贝叶斯神经网络（ABNN），这是一种简单且可扩展的策略，可以在后期以最小的计算和训练开销的方式将 DNNs 无缝转换为 BNNs。ABNN 通过简单的 BNN 适应层（附加到归一化层）和对预训练模型进行少量微调步骤，保留了 DNNs 的主要预测性能，并增强了它们的不确定性量化能力。我们在多个图像分类和语义分割任务的数据集上进行了大量实验证明，ABNN 在不需要集成方法通常需要的计算预算的情况下实现了最先进的性能。

Dec, 2023

本论文研究了层次贝叶斯网络和具有随机隐藏单元的神经网络，表明通过在潜在变量的中心化和可微非中心化参数化之间切换，这两种类型的模型可以相互转换，并且给出了各种参数化的优缺点及推断方法。在非中心形式中，可以使用简单的蒙特卡洛估计器来学习参数。理论结果得到了实验证实。

Feb, 2014