Aug, 2016

现代深度学习方法的参考工作负载

PDF
TL;DR本文介绍了一个基于 TensorFlow 深度学习框架的工具集 Fathom，在研究 8 个深度学习模型的基础性能特征方面展开，从时间分配、性能特征、推理和训练行为等方面进行了分析。
deep learningcomputational powerfathomtensorflowperformance characteristics
发现论文，激发创造
  • 代表性深度神经网络结构的基准分析

    本研究分析了当前用于图像识别的大多数深度神经网络 (DNN) 的性能指标，包括识别准确率、模型复杂度、计算复杂度、内存使用和推断时间等，并通过在两种不同计算机架构上的实验来测量指标，以帮助研究者们了解目前已经研究探索的解决方案及其未来发展方向，并帮助从业者选择最适合其资源限制的 DNN 架构。

    Oct, 2018

  • 基于设计自动化的快速、轻量化和高效的深度学习模型：一项调查

    该研究综述了针对边缘计算的深度学习模型设计自动化技术，包括自动神经架构搜索、自动模型压缩和联合自动设计和压缩，并提出了未来研究的方向。

    Aug, 2022

  • Facebook 数据中心中的深度学习推理：特征描述、性能优化和硬件影响

    本文详细介绍了 Facebook 社交网络服务中使用的深度学习模型的计算特征，并描述了针对现有系统的高性能优化，同时指出了其局限性，并为未来的通用 / 加速推理硬件提出建议。此外，我们强调了算法、数字和计算平台更好的协同设计来解决数据中心中经常运行的工作负载的挑战。

    Nov, 2018

  • 深度神经网络训练的基准测试和分析

    通过提出一个新的 deep neural networks 训练基准 (TBD)，并在三个主要的深度学习框架 (TensorFlow、MXNet、CNTK) 上进行广泛的性能分析，本文为 DNN 训练提供了一套新的分析工具集以及对未来研究和优化的建议。

    Mar, 2018

  • 高效深度学习：关于使深度学习模型更小、更快、更好的调查

    介绍了深度学习效率问题和五个核心领域，包括建模技术、基础设施和硬件，并提出实验指南和代码，为实践者优化模型培训和部署提供支持。这是第一个详尽的调查，涵盖了从建模技术到硬件支持的模型效率领域，帮助实践者实现改进并装备他们以进行进一步的研究和实验。

    Jun, 2021

  • 深度学习的现代数学

    我们描述了深度学习数学分析的新领域，涉及到超参数神经网络的普适性，深度对于网络的作用，感知问题的缺失，问题优化性能的成功和架构的各个方面对学习任务的影响，并提供了现代方法的概述和详细的主要思想。

    May, 2021

  • 计算效率高的计算机视觉深度学习：综述

    过去十年来，深度学习模型在各种视觉感知任务中取得了显著进展，但其高计算资源需求限制了其在实际应用中的可行性。本综述通过四个关键领域的研究，即轻量级骨干模型的发展、面向特定计算机视觉任务的专用网络架构或算法、深度学习模型压缩技术以及在硬件平台上部署高效深度网络的策略，对计算效率高的深度学习进行了广泛分析，并讨论了该领域面临的关键挑战和未来研究方向。

    Aug, 2023

  • 深度神经网络模型在实践应用中的分析

    本文对深度神经网络在计算机视觉领域中的重要应用指标进行全面分析，发现能耗与批次大小和架构无关，准确度和推断时间在双曲线关系中，能源约束是最大可实现准确度和模型复杂度的上限，操作次数是推断时间的可靠估计。

    May, 2016

  • 通过利用公共数据提取深度神经网络的框架

    使用主动学习和大规模公共数据集的模型提取框架，可以通过黑盒访问从图像和文本领域的各种数据集中训练出的深度分类器，其中仅使用其 30%（30,000 个样本）的数据集。

    May, 2019

  • 硬件感知机器学习：建模与优化

    本篇论文全面评估现有的面向硬件的深度学习模型建模和优化方法，提出几个值得探讨的研究方向，旨在让深度学习的应用对硬件系统和平台产生显著影响。

    Sep, 2018