本文概述了高效深度学习的方法、系统和应用，包括流行的模型压缩方法、自动化模型设计和用户自定义的基于设备的训练，以及各种针对特定任务和空间 - 时间冗余的加速技术和系统设计。

Apr, 2022

深度神经网络（DNNs）在许多人工智能（AI）任务中被广泛使用，为了解决其部署带来的巨大的内存、能量和计算成本挑战，研究人员开发了各种模型压缩技术，最近还有越来越多的研究关注定制化 DNN 硬件加速器以更好地利用模型压缩技术，此外，保护安全和隐私对于部署 DNNs 至关重要，我们的研究综述首先涵盖主流的模型压缩技术，如模型量化、模型修剪、知识蒸馏和非线性运算优化，然后介绍了设计可以适应高效模型压缩方法的硬件加速器的最新进展，此外，我们还讨论了如何将同态加密集成到安全 DNN 部署中，最后，我们讨论了硬件评估、泛化和各种压缩方法的集成等几个问题，总体来说，我们旨在从算法、硬件加速器和安全性角度提供高效 DNN 的整体概况。

May, 2024

本文综述了目前深度神经网络的应用及其在计算机视觉、语音识别、机器人等 AI 任务中的高精度表现，同时也阐述了深度神经网络大规模部署所面临的高算力成本和能效问题，并提出了硬件设计、算法优化等多种解决方案以提高能效和算力，最后对比了各种深度神经网络的设计指标并展示了很多发展资源。

Mar, 2017

通过联合采用修剪和量化，利用强化学习探索与低能耗相关的设计空间及其精度损失，我们提出了一种自动压缩深度神经网络的硬件感知框架，能够在嵌入式深度神经网络加速器上实现能耗最小化。实验结果表明，相比现有方法，我们的框架平均能耗降低 39%，平均精度损失为 1.7%。

Dec, 2023

通过本文，我们调查了低功耗和能效更高的深度神经网络实现的最新进展，其提高了深度神经网络的可部署性而在不显著牺牲准确性的情况下。这些技术可以分为三个主要类别：神经网络压缩、网络架构搜索和设计、以及编译器和图优化。我们调查了卷积和变换器深度神经网络的低功耗技术，并总结了其优点、缺点和研究中的问题。

Aug, 2023

本次研究对于深度神经网络的量化方法进行综述，重点探讨了量化对于模型大小、能量消耗以及在移动设备上的实际应用等方面的影响。

Aug, 2018

本论文探讨了 DNN 在资源受限的边缘设备上部署的优化问题，并研究了四种边缘智能场景下的深度学习方法，通过减少 DNN 冗余度来达到资源消耗与模型准确度之间的平衡。

Oct, 2022

在过去的十年中，深度学习在自然语言处理、计算机视觉和生物医学信号处理等各个人工智能领域中占据主导地位。虽然模型的准确性有了显著提高，但将这些模型部署在移动手机和微控制器等轻量设备上受到资源限制的制约。本调查报告针对这些设备提供全面的设计指导，详细介绍了轻量模型的细致设计、模型压缩方法和硬件加速策略。本工作的主要目标是探索在不影响模型准确性的情况下克服硬件限制的方法和概念。此外，我们还探讨了未来轻量深度学习的两个值得关注的方向：TinyML 和大型语言模型的部署技术。尽管这些方向无疑具有潜力，但它们也带来了重大挑战，鼓励研究未开拓的领域。

Apr, 2024

研究表明，机器学习（尤其是深度学习）发展的加速，是医学影像分析和计算机辅助干预领域取得突破的原因。然而，深度学习模型需要大量的训练数据、计算和能源成本，这是在临床部署这些模型时要克服的障碍。为了解决这个问题，机器学习社区正在努力引入资源效率概念，以减轻内存使用量等问题。本文通过探究模型资源消耗和性能之间的平衡，特别是在诊所等重要场景中使用的模型中，展示了这些方法在减少资源利用方面的有效性和性能方面的成本。

Mar, 2023

本文提供了一种将预先训练的深度神经网络 (DNNs) 转换成脉冲神经网络 (SNNs) 的通用指南，并介绍了一些在神经形态硬件上部署转换后的 SNNs 的技术，可显著改进其延迟，功耗和能耗。实验结果表明，与 Intel Neural Compute Stick 2 相比，使用我们的 SNN 改进技术， Intel 的神经形态处理器 Loihi 在测试的图像分类任务中功耗降低了最多 27 倍，能耗降低了最多 5 倍。

Oct, 2022