Apr, 2023

训练神经网络以在近似硬件上执行

PDF
TL;DR研究表明，近似计算方法在深度学习中具有巨大潜力，尤其适用于受电源预算限制的便携设备的推理任务，但由于缺乏针对近似计算的训练方法，其潜力尚未得到充分发挥。本文提出了近似硬件训练的方法，并演示了这些方法如何专门针对近似硬件进行训练，并提出了加速训练过程的方法，加速率高达 18 倍。
approximate computingdeep learningtraining methodsbattery-operated deviceshardware
发现论文，激发创造
  • 基于深度神经网络进行定制硬件逼近：过去和未来

    该论文提供了有关高性能网络推断的近似方法的全面评估，并深入讨论了这些方法在自定义硬件实现中的有效性，旨在启发该领域的新发展。

    Jan, 2019

  • 量化神经网络的训练：深入理解

    本篇论文研究了深度神经网络的低精度模型的训练方法，探讨了在小型设备上训练深度神经网络的难点，提出了一种理论视角下的量化训练方法，并探索了非凸问题下的算法行为模型。

    Jun, 2017

  • 使用近似张量运算加速神经网络训练

    通过对张量运算（矩阵乘法和卷积）应用基于样本的近似，提出了一种用于深度神经网络加速训练的新技术。应用到 MLP 和 CNN 网络的 MNIST，CIFAR-10 和 ImageNet 数据集的训练实验结果表明，该方法可以大幅度减少计算量和通讯量，并以不会对最终测试准确率产生可感知影响的方式提升训练速度。

    May, 2018

  • 利用离散基因训练实现打印 MLP 网络的嵌入式硬件逼近

    利用近似计算并将硬件近似集成到多层感知器（MLP）的训练过程中，为 Printed Electronics（PE）设计了一种基于遗传算法的硬件感知训练方法，实现了超过 5 倍的面积和功耗降低，同时优于最先进的近似和随机打印 MLPs。

    Feb, 2024

  • 强缺陷神经形态硬件鲁棒训练方法的实验演示

    硬件感知训练和统计感知训练在神经网络中的应用，以应对硬件非理想性和缺陷的影响，提高网络性能。

    Dec, 2023

  • ApproxDBN：用于鉴别式深度置信网络的近似计算

    通过有限精度变量、关键性分析、贪婪策略等技术实现近似深置信网络 (ApproxDBNs)，在保证目标准确率的前提下，最大化降低硬件实现的能耗。实验结果表明，通过限制准确度损失，能够显著降低硬件的处理精度。

    Apr, 2017

  • 硬件感知机器学习：建模与优化

    本篇论文全面评估现有的面向硬件的深度学习模型建模和优化方法，提出几个值得探讨的研究方向，旨在让深度学习的应用对硬件系统和平台产生显著影响。

    Sep, 2018

  • NullaNet：用于减少内存访问推理的深度神经网络训练

    使用布尔逻辑最小化方法训练深度神经网络可以有效降低计算和存储复杂度，并实现高能效。

    Jul, 2018

  • 神经形态硬件上机器学习工作量的高效部署

    本文提供了一种将预先训练的深度神经网络 (DNNs) 转换成脉冲神经网络 (SNNs) 的通用指南，并介绍了一些在神经形态硬件上部署转换后的 SNNs 的技术，可显著改进其延迟，功耗和能耗。实验结果表明，与 Intel Neural Compute Stick 2 相比，使用我们的 SNN 改进技术， Intel 的神经形态处理器 Loihi 在测试的图像分类任务中功耗降低了最多 27 倍，能耗降低了最多 5 倍。

    Oct, 2022

  • 放射探测器和成像的神经网络方法

    最近在图像数据处理方面的研究进展表明，通过机器学习，尤其是深度神经网络（DNNs）的使用，可以通过数据驱动的人工智能为辐射探测器和成像设备提供新的优化和性能增强方案。我们概述了光子源的数据生成、基于深度学习的图像处理方法以及深度学习加速的硬件解决方案。目前大多数现有的深度学习方法是离线训练的，通常需要大量的计算资源。然而，一旦训练完成，DNNs 可以实现快速推理速度，并且可以部署到边缘设备上。边缘计算是一种新趋势，它具有较低的能量消耗（数百瓦或更少）和实时分析能力。虽然以往通常用于边缘计算的基于电子的硬件加速器（从中央处理器（CPU）到应用特定集成电路（ASICs）的通用目的处理器）正不断接近性能极限，在延迟、能量消耗和其他物理约束方面存在限制。这些限制催生了下一代模拟神经形态硬件平台，如光学神经网络（ONNs），用于高并行、低延迟和低能量计算，以提高深度学习加速。

    Nov, 2023