本文介绍了一种利用对抗攻击对神经网络进行针对能源和决策延迟的攻击，该攻击构造出能够最大化能源消耗和延迟决策的输入，可对成熟的视觉和语言模型进行攻击，并探讨了从平均情况到最坏情况的硬件能源消耗分析的防御策略。

Jun, 2020

近期，在深度模型的推断计算方面取得了很多进展，这些方法可以减少深度模型的计算需求和功耗。我们展示了这些模型容易受到普适性对抗贴片攻击的影响，攻击者通过优化一个贴片，将其粘贴到任意图像上可以增加模型的计算量和功耗。我们运行实验使用了三种不同的高效视觉转换器方法，显示在某些情况下，攻击者只需将一个只占图像面积的 8% 的贴片粘贴上即可将计算量增加到最大限度。同时我们还展示了标准对抗性训练防御方法可以减少攻击的成功率。我们相信为降低深度模型的功耗，未来需要采用自适应高效的方法，希望我们的论文可以鼓励研究人员研究这些方法的强韧性，并开发更好的防御方法来对抗这种攻击。

Oct, 2023

本文针对移动设备处理器开展了基于海绵毒化攻击的深度学习攻击，并通过实验发现其可以有效地污染现代处理器的内置加速器，并分析了海绵毒化算法中不同因素的影响，并强调了需要改进防御机制以防止此类攻击。

May, 2023

通过在计算通用矩阵乘法（GEMM）时考虑激活的最终位置，我们设计了一种稀疏训练过程，以诱导可利用的半结构化激活稀疏性，并在图像分类和目标检测任务中对其进行了广泛评估，结果显示在 ImageNet 数据集上，我们的方法在 ResNet18 模型上实现了 1.25 倍的加速，并仅有 1.1% 的最小精度降低；另外，与先进的结构化剪枝方法相结合，得到的模型在延迟和准确性之间取得了很好的平衡，优于仅采用结构化剪枝技术的模型。

Sep, 2023

研究表明，使用 Batch Normalization 和 ReLU 激活的卷积神经网络，在采用适应性梯度下降和 L2 正则化或权重衰减训练的情况下，会出现滤波器级别的稀疏性，这种隐式的稀疏性可以利用以达到神经网络加速的效果。

Nov, 2018

移动设备上处理视觉数据具有多种应用，但现有的计算机视觉技术通常过于耗电无法部署在资源受限的边缘设备上。本文提出一种新技术，通过引入超参数来动态调整深度神经网络的精确度和能源消耗，无需重新训练即可适应不同边缘应用的硬件约束与精确度要求。该技术称为 AdaptiveActivation，实验证明其在流行的边缘设备上可以达到基准的误差范围内，并且比基准技术所需内存减少了 10% 到 38%，从而提供更多的精确度与效率权衡选项。

Sep, 2023

本文研究低延迟深度脉冲神经网络克服对抗攻击的训练算法，通过在输入层引入精心设计的噪声，已有的模型仅需进行微调即可达到防御攻击的效果，同时在分类性能、时延和计算能耗方面表现出色。

Oct, 2021

本篇论文研究了针对深度神经网络的对抗攻击问题，表明对于稀疏输入数据表示，我们可以利用线性分类器的稀疏编码来有效减缓攻击，并将其扩展到深度神经网络中，发现使用局部线性模型可以有效降低 MNIST 数据集上的攻击成功率。

Mar, 2018

稀疏编码通过非可微的 Top-K 操作实施了对网络的结构编码，使得卷积神经网络中的神经元能够对物体进行部分和亚部分的平滑分解，并赋予网络形状偏差。

Oct, 2023

本研究论文介绍了一种基于转换的 l1 正则化方法来诱导激活图的稀疏性，以改善激活稀疏诱导领域的研究。同时，本方法与传统修剪结合，构成了双稀疏训练框架。实验结果表明，该方法在大多数模型和相应数据集上可以实现超过 20% 的激活图稀疏度提升，同时不影响准确性。另外，双稀疏训练框架能够大大减少计算负载并降低运行时所需的存储。

May, 2024