Sep, 2023

基于量子化非挥发性纳米磁阻元件的自编码器用于高效无监督网络异常检测

PDF
TL;DR基于自动编码器的异常检测范式中，依靠具有实时学习能力的边缘设备实现自动编码器是一项极富挑战性的任务。通过设计具有低分辨率的非挥发性存储器型突触的自动编码器，并采用一种有效的量化神经网络学习算法，我们证明这些限制可以得到解决。我们提出了一种带有工程化凹槽的铁磁记录道，以磁域壁作为自动编码器的突触，其中通过自旋轨道涡流脉冲来操作有限状态（5 状态）的突触权重。我们在 NSL-KDD 数据集上评估了所提出的自动编码器模型对异常检测的性能。通过对突触进行有限分辨率和 DW 器件随机性感知的训练，我们得到了与拥有浮点精度权重的自动编码器相当的异常检测性能。虽然量化状态的有限数量和纳米尺度器件中固有的随机性对性能有负面影响，但我们的面向硬件的训练算法被证明可以利用这些不完善的器件特性，从而提高异常检测的准确性（90.98%），相较于使用浮点训练权重的准确性。此外，我们的 DW-based 方法在训练过程中相较于浮点训练方法重要减少了至少三个数量级的权重更新，意味着我们的方法可以大大节省能量。这项工作有望推动非挥发多状态突触型处理器的极高能效、能够在边缘上对无监督数据进行实时训练和推断的发展。
发现论文，激发创造
  • 基于量子贴片的自编码器用于异常分割

    这篇论文介绍了一种基于量子自编码器的图像异常分割方法，其中参数的数量与图像块的大小对数缩放。该方法通过量子状态的重构，通过 SWAP 测试对嵌入输入块计算异常映射，而无需重建输入图像，并在多个数据集和参数配置下评估其性能并与经典对应方法进行比较。

    Apr, 2024

  • 物联网中基于自编码器神经网络的分布式异常检测

    本文首次将自编码神经网络引入到无线传感器网络中，提出一种基于两部分算法的分布式检测机制，可高效识别各种设备故障和未知现象，并在实际测试中获得了高检测精度和低误报率，同时具备适应非平稳环境的非监督学习特性。

    Dec, 2018

  • 用自编码器进行实时 SUEP 检测

    使用基于深度卷积神经网络的异常检测技术，可以在大型强子对撞机的高能触发系统中实时拒绝 QCD 喷注并识别任何异常标记，包括软无聚类能量模式，使用非标准损失函数训练的自动编码器可检测 40％的 SUEP 事件，QCD 事件误标记率低至 2％。

    Jun, 2023

  • Q-SNNs: 量化尖峰神经网络

    我们介绍了一种轻量级和硬件友好的量化 SNN（Q-SNN），该方法对突触权重和膜电位进行量化，显著减少内存使用和计算复杂性，提出了一种受信息熵理论启发的新的权重 - 脉冲双重调节（WS-DR）方法，实验证明我们的 Q-SNN 在模型大小和准确性方面优于现有方法，这些在效率和功效方面的最新成果表明该方法可以显着改善边缘智能计算。

    Jun, 2024

  • 强缺陷神经形态硬件鲁棒训练方法的实验演示

    硬件感知训练和统计感知训练在神经网络中的应用，以应对硬件非理想性和缺陷的影响，提高网络性能。

    Dec, 2023

  • 神经形态硬件上的超低功耗图像分类

    基于时间编码的 ANN 到 SNN 转换方法 Quartz 在神经形态硬件上实现了高分类准确性，通过时间编码在功耗、吞吐量和延迟方面具有优势。

    Sep, 2023

  • 基于相变存储器模拟硬件的深度神经网络量化以促进权重自校正

    近年来，硬件加速神经网络在边缘计算应用中引起了重视。在各种硬件选项中，交叉阵列为神经网络权重的高效存储和操作提供了有希望的途径。然而，从经过训练的浮点模型转向硬件约束的模拟体系结构仍然是一个挑战。在这项工作中，我们将一种专为这种体系结构设计的量化技术与一种新颖的自校正机制相结合。通过利用双交叉栏连接来表示单个权重的正负部分，我们开发了一种算法来近似一组乘法权重。这些权重以及它们的差异旨在以最小的性能损失来表示原始网络的权重。我们使用 IBM 的 aihwkit 实现了这些模型，并随时间评估了它们的效力。我们的结果表明，当与芯片上的脉冲发生器配对时，我们的自校正神经网络在性能上与那些经过模拟感知算法训练的网络相当。

    Sep, 2023

  • 脉冲扩散：基于脉冲神经网络的向量量化离散扩散模型

    我们提出了一种基于脉冲扩散模型的脉冲神经网络，通过向量量化离散扩散模型和 SNNs 的结合，实现对图像的表达和去噪，实验证明它在多个数据集上的性能优于现有的 SNN 生成模型。

    Aug, 2023

  • 用于汽车网络低功耗入侵检测系统的量化神经网络加速器

    探索低功耗定制量化的多层感知器作为用于汽车控制器局域网络（CAN）的入侵检测系统（IDS），利用 AMD/Xilinx 的 FINN 框架对我们的 MLP 进行量化、训练和生成硬件 IP，使用集成 IDS 功能的 ZCU104 (XCZU7EV) FPGA 作为目标 ECU 架构，以侦测 CAN 网络上的拒绝服务（DoS）和模糊攻击。我们的方法在处理延迟（每条消息处理延迟为 0.12 毫秒）和推理能耗（每次推理消耗 0.25 毫焦耳）方面取得显著的改进，并且在分类性能方面与文献中的最新方法相当。

    Jan, 2024

  • 全脉冲变分自编码器

    本文提出了基于脉冲神经网络（SNN）和变分自编码器（VAE）的全脉冲变分自编码器，架构中所有模块的构建都采用 SNN，可以在边缘设备上生成高质量图像，相较于传统人工神经网络，具有更好的表现。

    Sep, 2021