Oct, 2018

代表性深度神经网络结构的基准分析

HTML
PDF
TL;DR本研究分析了当前用于图像识别的大多数深度神经网络 (DNN) 的性能指标，包括识别准确率、模型复杂度、计算复杂度、内存使用和推断时间等，并通过在两种不同计算机架构上的实验来测量指标，以帮助研究者们了解目前已经研究探索的解决方案及其未来发展方向，并帮助从业者选择最适合其资源限制的 DNN 架构。
发现论文，激发创造
  • 深度神经网络模型在实践应用中的分析

    本文对深度神经网络在计算机视觉领域中的重要应用指标进行全面分析，发现能耗与批次大小和架构无关，准确度和推断时间在双曲线关系中，能源约束是最大可实现准确度和模型复杂度的上限，操作次数是推断时间的可靠估计。

    May, 2016

  • 深度神经网络的有效处理：教程和概述

    本文综述了目前深度神经网络的应用及其在计算机视觉、语音识别、机器人等AI任务中的高精度表现，同时也阐述了深度神经网络大规模部署所面临的高算力成本和能效问题，并提出了硬件设计、算法优化等多种解决方案以提高能效和算力，最后对比了各种深度神经网络的设计指标并展示了很多发展资源。

    Mar, 2017

  • 深度神经网络训练的基准测试和分析

    通过提出一个新的 deep neural networks 训练基准 (TBD)，并在三个主要的深度学习框架 (TensorFlow、MXNet、CNTK) 上进行广泛的性能分析，本文为 DNN 训练提供了一套新的分析工具集以及对未来研究和优化的建议。

    Mar, 2018

  • 移动计算机视觉卷积神经网络的延迟和吞吐量特征化

    本文研究了用于移动计算机视觉系统的卷积神经网络性能特征，使用不同的硬件平台和软件框架以及本地和远程计算，并指出存在重要的延迟 - 吞吐量折衷，并阐述影响性能的几个因素。

    Mar, 2018

  • NetScore: 面向大规模深度神经网络实用边缘设备应用的通用性性能评估指标

    本研究提出了一种名为NetScore的平衡指标，用于评估深度神经网络在实际边缘设备上的性能，该指标综合考虑了准确性、计算复杂度和网络结构复杂度等因素。通过对60种不同的卷积神经网络在ImageNet上进行比较，本研究总结了这些网络在准确性、NetScore和信息密度等指标下的表现，以帮助实务人员在边缘场景下设计模型。

    Jun, 2018

  • DNN-Chip Predictor：一种基于分析的深度神经网络加速器性能预测器，支持不同数据流和硬件架构

    本文提出了 DNN-Chip Predictor，一种分析性能预测器，能够在实际实现之前准确预测 DNN加速器的能量、吞吐量和延迟，从而加快和提高 DNN 加速器的开发效率。该预测器具有分析性能公式，支持不同的算法对硬件映射方案（即数据流）和硬件体系结构。实验结果表明，使用不同的 DNN 模型、硬件体系结构和数据流时，预测性能与 FPGA/ASIC 实现的芯片测量结果的差异不超过 17.66％。

    Feb, 2020

  • 大规模神经网络训练调查

    本文系统地讨论了提高深度神经网络训练效率的方法，重点考虑了内存利用率和GPU训练，分类总结了相关策略，并且比较了不同类别之间的方法。

    Feb, 2022

  • 深度神经网络能否充当人类视觉感知的行为模型？

    本文回顾了当前深度神经网络在作为人类核心物体识别合适的行为模型方面存在的证据，并指出深度神经网络作为计算模型的质量是一个多维概念，需要在建模目标方面达成明确的理解与共识。本文通过分析大量的人类感知和深度神经网络核心物体识别能力的心理物理和计算机探究，得出深度神经网络作为科学工具的价值性，同时认为深度神经网络目前只是作为人类核心物体识别行为的有前途但尚不充分的计算模型。在此过程中，我们驳斥了一些关于深度神经网络在视觉科学中存在的神话。

    May, 2023

  • 超越推断：计算机视觉DNN服务器开销的性能分析

    对计算机视觉的深度学习系统进行综合评估，发现数据处理和系统吞吐量是深度学习应用性能的重要瓶颈，并提出了更全面的深度学习系统设计方法。

    Mar, 2024

  • 深度神经网络加速器快速准确性能模型的自动生成

    本研究针对在资源受限的边缘设备上实现深度神经网络（DNN）面临的挑战，提出了一种自动生成快速性能模型的方法，以准确估算映射到加速器架构的DNN延迟。我们的关键发现是，该方法结合DNN硬件依赖图分析，显著加速了性能评估过程，相较于仿真结果，有效降低了平均绝对百分比误差（MAPE）。

    Sep, 2024