Oct, 2022

DeepPerform: 一种针对资源受限神经网络的高效性能测试方法

HTML
PDF
TL;DR本文提出“DeepPerform”算法，来解决嵌入式设备上Adaptive Deep Neural Networks的计算冗余问题，这个问题被称为Input-dependent Performance Bottlenecks，这个算法通过对神经网络模型的计算消耗进行学习和估计，能够高效地生成测试样本，检测性能瓶颈，并且比基准方法快6-10毫秒。
发现论文，激发创造
  • 硬件感知机器学习：建模与优化

    本篇论文全面评估现有的面向硬件的深度学习模型建模和优化方法，提出几个值得探讨的研究方向，旨在让深度学习的应用对硬件系统和平台产生显著影响。

    Sep, 2018

  • 神经网络结构搜索的快速性能估计

    提出了一种基于训练速度测量的、无模型、高效、便宜的模型估计器，可在各种神经结构搜索空间中提高准确性并改善搜索速度或质量。

    Jun, 2020

  • GradSign: 基于理论洞察的模型性能推理

    提出了一个新的度量标准GradSign，用于神经架构搜索中的模型性能推断任务，通过分析不同网络的优化景观，准确、简单、灵活地预测网络的性能，在三个训练数据集上的七个基准测试中，GradSign的表现都优于现有的基于梯度的方法，将其集成到现有的NAS算法中，它们的准确性有了显著提高。

    Oct, 2021

  • 基于 CPU 的深度学习模型：高效训练的方法论

    本文提出了一种在Intel CPU上优化深度学习模型训练的方法和工具集ProfileDNN以及一个任务优化方法，旨在解决在选择适当硬件时成本和效率之间的权衡问题，并通过几个案例研究探讨了如何使用ProfileDNN和Intel PyTorch扩展来优化模型训练。

    Jun, 2022

  • 神经网络训练算法基准测试

    本文提出了一个新的竞争性算法基准测试，AlgoPerf：训练算法基准测试，在多个工作负载上运行固定的硬件，解决了评估训练算法改进的三个基本挑战，包括如何确定训练何时结束和精确测量训练时间，如何处理测量对确切工作负载细节的敏感性，以及如何公平比较需要超参数调整的算法。在本基准测试中，评估了基线结果和各种优化器构建的基线提交，最终证明了新基准测试的可行性。

    Jun, 2023

  • 移动/嵌入式设备高效推理的动态深度神经网络和运行时管理

    深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而，由于计算资源有限，有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法，通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中，我们的模型在Jetson Xavier NX的GPU上使用ImageNet数据集相对于最先进的方法，在相似的ImageNet Top-1准确率下速度提高了2.4倍，或在相似的延迟下准确率提高了5.1%。同时，我们设计了一个分级运行时资源管理器，在单模型部署场景中达到了19%的能量降低和9%的延迟降低，在两个并发模型部署场景中能量降低了89%，延迟降低了23%。

    Jan, 2024

  • 在资源受限边缘环境中使用有效参数削减实现帕累托最优

    通过优化现有的深度神经网络(DNN)，减小模型大小并减少内存利用，提高硬件利用率，并在资源受限的边缘环境中便于设备内训练。在Caltech-101图像分类和PCB缺陷检测实验中，我们的模型表现优于原始模型Xception和轻量级模型EfficientNetV2B1和MobileNetV2，在测试准确性、内存利用和训练推断时间等方面都取得了较好的结果，同时满足精确性和低内存利用率目标。

    Mar, 2024

  • 超越推断：计算机视觉DNN服务器开销的性能分析

    对计算机视觉的深度学习系统进行综合评估，发现数据处理和系统吞吐量是深度学习应用性能的重要瓶颈，并提出了更全面的深度学习系统设计方法。

    Mar, 2024

  • DeepSample：基于DNN的操作准确性评估测试

    通过概率抽样，研究了五种新的基于抽样的测试技术以及其他三种先进技术，以实现对深度神经网络在运行中准确度的忠实和高置信度估计，从而降低成本。

    Mar, 2024

  • 一种成本意识的神经网络对抗鲁棒性方法

    本研究针对生产级AI模型在面对对抗攻击时的鲁棒性评估问题，提出了一种基于生存分析的方法，旨在有效预测模型在对抗噪声下的表现。研究表明，虽然更强大的硬件可以缩短训练时间，但其所需的成本和功耗远超准确率的边际提升，从而揭示了在模型优化过程中需综合考虑性能和成本的关键洞见。

    Sep, 2024