Sep, 2022

利用哈达玛积方法实现低能耗的卷积神经网络（CNN）

PDF
TL;DR该研究论文提出基于 Hadamard 方法的物体识别，以减少卷积层的能源消耗，在 MNIST 数据集上与卷积方法表现相似，而在 CIFAR10 数据集上由于数据复杂性和多通道性能下降，该方法可应用于其他计算机视觉任务，当卷积层的内核大小小于输入图像大小时。
internet of thingscomputer visionobject recognitionconvolutional neural networkshadamard transformation
发现论文，激发创造
  • 能源高效的哈达玛神经网络

    通过使用二进制权重网络（BWN）和哈达玛变换图像网络（HIN）的组合，我们提出了一种新颖的低能耗模型 Binary Weight and Hadamard-transformed Image Network（BWHIN）, 在保证分类准确性的前提下实现了更高的能效。

    May, 2018

  • 基于 Hadamard 变换的混合量子经典方法用于卷积层

    本文提出了一种基于 Hadamard 变换的 HT-perceptron 层，用于混合量子经典计算，相较于常规的 Conv2D 层，在 MNIST 和 ImageNet-1K 数据集上分别减少了 57.1% 和 12.6% 的 MACs 且精度有所提升。

    May, 2023

  • 使用快速傅里叶变换和重叠相加的卷积神经网络极其高效训练

    使用 “重叠相加” 技术和快速傅里叶变换来减少卷积神经网络中卷积层的计算时间，实现了更高效的向前和向后传播。

    Jan, 2016

  • E2-Train: 基于 E2 方法训练最先进的 CNN 并节省 80% 以上的能量

    通过三种方法 (stochastic mini-batch dropping, selective layer update, sign prediction) 来减少训练过程中的计算并实现在资源受限的设备上进行训练，该方法能够在保持准确率损失相对较小 (不超过 2%) 的前提下，实现能耗降低超过 90%。

    Oct, 2019

  • 面向能耗限制的图像分类自适应神经网络设计

    本研究采用超参数优化的设计范式，将 CNN 的架构设置视为全局优化的超参数，以解决现有方法中网络处理数据而不是网络架构的局限性，实现了比以往使用 CNN 作为黑匣子更高效省电的图像分类。

    Aug, 2018

  • 物联网设备的计算机视觉技术调查

    通过本文，我们调查了低功耗和能效更高的深度神经网络实现的最新进展，其提高了深度神经网络的可部署性而在不显著牺牲准确性的情况下。这些技术可以分为三个主要类别：神经网络压缩、网络架构搜索和设计、以及编译器和图优化。我们调查了卷积和变换器深度神经网络的低功耗技术，并总结了其优点、缺点和研究中的问题。

    Aug, 2023

  • HadaNets: 神经网络的灵活量化策略

    该研究论文介绍了一种名为 HadaNets 的新型神经网络模型，可以在不占用太多内存和训练时间的情况下有效地训练和推理深度神经网络，同时具有优秀的模型压缩性能。

    May, 2019

  • 利用聚焦卷积消除无关像素提高预训练 CNN 推理延迟和能效的自动化方法

    通过插入一个阈值层来过滤图片中的无关区域，从而使预训练的深度卷积神经网络更加节能、减少计算需求，并在准确率几乎不下降的情况下节省推断延迟和能源消耗。

    Oct, 2023

  • AdderNet 及其极简硬件设计用于能效人工智能

    使用加法核、低比特量化算法以及特定和通用硬件加速器设计一种高效的、性能更好的卷积神经网络（AdderNet），可以消耗更少的资源，并且比传统的卷积神经网络、基于忆阻器网络、XNOR-Net 和基于移位核的网络有更高的性能和能效，可以用于未来的高性能和能效的人工智能应用中。

    Jan, 2021

  • 使用卷积神经网络进行物联网入侵检测

    本文提出了一种使用卷积神经网络（CNNs）解决物联网设备入侵攻击的新方法，将传感器数据编码为卷积操作，以便 CNNs 检测攻击，并在 ResNet 和 EfficientNet 上进行评估，并与 LSTM 基线比较，结果表明该方法可以显著提高 true positive 和 false positive rate。

    Nov, 2022