少样本测试：使用贝叶斯测试向量估计记忆电阻深度神经网络的不确定性

May, 2024

少样本测试：使用贝叶斯测试向量估计记忆电阻深度神经网络的不确定性

Few-Shot Testing: Estimating Uncertainty of Memristive Deep Neural Networks Using One Bayesian Test Vector

Soyed Tuhin Ahmed, Mehdi Tahoori

TL;DR在硬件加速器中实现基于神经网络的计算芯片的性能、缺陷与测试向量生成方法的改进和优化问题研究

Abstract

The performance of deep learning algorithms such as neural networks (NNs) has increased tremendously recently, and they can achieve state-of-the-art performance in many domains. However, due to memory and computa

deep learning algorithms neural networks computation-in-memory memristive devices bayesian test vector generation

发现论文，激发创造

基于分布偏移检测的深度神经网络的单次在线测试

本篇论文提出了一种一次性测试方案，可以在使用 memristive crossbars 加速的神经网络中执行有效的失效测试，且只需一个测试向量，这可以有效减少内存开销和测试向量数量，同时提高失效覆盖率。

May, 2023

深度学习中可扩展高效的不确定性估计和降低方法

部署神经网络在资源受限的安全关键系统中面临不确定性和硬件非理想性所带来的挑战，该研究论文总结了一项 (四年级) 博士论文工作，该工作探索了深度学习中可扩展和高效的方法，包括计算内存 (Computation-in-Memory) 使用新兴的阻性非挥发性存储器来估计和降低不确定性。我们采用问题感知训练算法、新颖的神经网络拓扑结构和硬件协同设计解决方案，包括基于自旋电子器件的基于退化的二值贝叶斯神经网络和变分推理技术。这些创新显著提高了异常数据检测、推理准确性和能量效率，从而增加了神经网络实现的可靠性和鲁棒性。

Jan, 2024

基于蒙特卡洛失活的贝叶斯神经网络施行旋转电子学测试

Bayesian Neural Networks (BayNNs) and uncertainty estimation in spintronics-based computation-in-memory architectures are analyzed with a focus on the reliability of Dropout generation and BayNN computation, proposing a testing framework for Dropout-based BayNN with high fault coverage and minimal training data usage.

Jan, 2024

利用不确定性指纹进行神经网络的并行自检

在这篇论文中，我们提出了一种代表神经网络在线故障状态的不确定性指纹方法，同时提出了一种双头神经网络拓扑结构，可以在一次推理过程中产生不确定性指纹和主要预测结果，从而实现高覆盖率的并发自测试神经网络，减少内存开销，降低错误率。

Jan, 2024

基于大规模开关式忆阻器的计算即存储模块用于深度神经网络训练

研究了一种使用模拟计算模块和数字系统的混合精度训练方案，在实验中采用了 memristor-based 计算存储内存模块，成功实现了针对大型深度神经网络的有效训练，并评估了模型的抗硬件变化特性。

May, 2023

增强边缘端神经网络可靠性：随机仿射变换的反向归一化

提出了一种用于提高内存计算架构中部署的 BayNN 的鲁棒性和推断准确性的方法，其中引入了一个新型的标准化层以及随机的仿射变换，经过各种基准数据集的实证结果表明，推断准确性呈现出优雅的降级，改进幅度高达 58.11%。

Jan, 2024

规模 - 丢弃：使用随机规模估计深度神经网络中的不确定性

在本论文中，我们提出了一种用于二元神经网络（BNNs）的新型正则化技术 —— 比例 Dropout（Scale Dropout），以及基于蒙特卡罗比例 Dropout（MC-Scale Dropout）的 Bayesian NNs，用于有效地估计不确定性。我们引入了一种基于自旋电子存储器的计算内存（CIM）架构，相比最先进技术可实现超过 100 倍的能量节省。我们验证了我们的方法，结果显示相对于相关工作，我们的方法在预测性能上有 1% 的改进，并提供了更优的不确定性估计。

Nov, 2023

多层电阻变换器实现的突触元可塑性

本研究提出了一种基于 memristor 的硬件架构，实现了 QNNs 的元可塑性，并验证了其在 MNIST 和 Fashion-MNIST 上的有效性和鲁棒性。

Jun, 2023

基于记忆元件的神经形态硬件在神经网络应用中的研究

本研究通过利用 memristive 和 memcapacitive 交叉阵列在低功耗机器学习加速器中的应用，提供了一个综合的深度神经网络 (DNN) 的共同设计框架；该模型采用混合 Python 和 PyTorch 方法实现，考虑了各种非理想因素，在 8 层 VGG 网络上，对 CIFAR-10 数据集分别使用 memristive 和 memcapacitive 交叉阵列，实现了卓越的训练准确率 (90.02% 和 91.03%)；此外，本文还引入了一种使用运算跨导放大器 (OTA) 和电容器模拟 meminductor 设备的新方法，展示了可调节的行为；在 60 MHz 下，180 nm CMOS 技术的晶体管级仿真表明所提出的 meminductor 模拟器具有 0.337 mW 的功耗，进一步在神经形态电路和 CNN 加速器中进行了验证，训练和测试准确率分别达到了 91.04% 和 88.82%，值得注意的是，仅使用 MOS 晶体管确保了单片 IC 制造的可行性，这项研究为探索高效和高性能的机器学习应用的先进硬件解决方案作出了重大贡献。

Mar, 2024

利用计算相变存储进行准确的深度神经网络推断

介绍了一种在内存计算硬件上训练 ResNet 类型卷积神经网络的方法，并提出了一种基于批标准化参数的补偿技术，可以在映射到 PCM 后实现分类精度高达 93.7％的 CIFAR-10 数据集和 71.6％的 ImageNet 基准测试的 top-1 精度。

Jun, 2019