深度神经网络模型在实践应用中的分析
本文通过使用小的卷积滤波器的架构，对不断增加深度的网络的精度进行了全面评估，表明通过将深度推到16至19个权重层，可以显著提高以往技术水平，并在ImageNet Challenge 2014中获得了第一和第二名。我们还证明了该表示法在其他数据集上具有很好的泛化性能，并公开了我们表现最佳的两个ConvNet模型，以便进一步研究深度视觉表示在计算机视觉中的应用。
Sep, 2014
本文研究在时间约束成本下，卷积神经网络的准确性和架构设计所需的权衡。通过一系列对比实验，得出一个在ImageNet数据集中准确率很高（11.8%的top-5误差，10视图测试），但比AlexNet（16.0%的top-5误差，10视图测试）快20%的网络架构。
Dec, 2014
本文综述了目前深度神经网络的应用及其在计算机视觉、语音识别、机器人等AI任务中的高精度表现，同时也阐述了深度神经网络大规模部署所面临的高算力成本和能效问题，并提出了硬件设计、算法优化等多种解决方案以提高能效和算力，最后对比了各种深度神经网络的设计指标并展示了很多发展资源。
Mar, 2017
本研究分析了当前用于图像识别的大多数深度神经网络 (DNN) 的性能指标，包括识别准确率、模型复杂度、计算复杂度、内存使用和推断时间等，并通过在两种不同计算机架构上的实验来测量指标，以帮助研究者们了解目前已经研究探索的解决方案及其未来发展方向，并帮助从业者选择最适合其资源限制的 DNN 架构。
Oct, 2018
本文系统研究了模型的缩放并提出了一种基于网络深度、宽度和分辨率的平衡方法，进而使用神经架构搜索设计了一种新的基线网络并扩展成一系列模型，称为EfficientNets，这些EfficientNets在多项测试中取得了更好的准确性和效率，包括在ImageNet数据集上达到了84.3%的top-1准确率，在成为当前最佳的ConvNet的推理速度比其快6.1倍、参数更少的情况下，这是一个领先的结果。
May, 2019
本文探讨卷积神经网络的扩展策略，指对基础卷积网络进行扩展以赋予其更高的表征能力。作者提出一种快速且简单的复合扩展策略，旨在主要扩展模型的宽度，而稍微扩展其深度和分辨率。实验结果表明，许多扩展策略可以产生类似的精度，但其性能却各异。该研究为在各种计算约束下分析和选择缩放策略提供了框架。
Mar, 2021
介绍了深度学习效率问题和五个核心领域，包括建模技术、基础设施和硬件，并提出实验指南和代码，为实践者优化模型培训和部署提供支持。这是第一个详尽的调查，涵盖了从建模技术到硬件支持的模型效率领域，帮助实践者实现改进并装备他们以进行进一步的研究和实验。
Jun, 2021
本文回顾了当前深度神经网络在作为人类核心物体识别合适的行为模型方面存在的证据，并指出深度神经网络作为计算模型的质量是一个多维概念，需要在建模目标方面达成明确的理解与共识。本文通过分析大量的人类感知和深度神经网络核心物体识别能力的心理物理和计算机探究，得出深度神经网络作为科学工具的价值性，同时认为深度神经网络目前只是作为人类核心物体识别行为的有前途但尚不充分的计算模型。在此过程中，我们驳斥了一些关于深度神经网络在视觉科学中存在的神话。
May, 2023
过去十年来，深度学习模型在各种视觉感知任务中取得了显著进展，但其高计算资源需求限制了其在实际应用中的可行性。本综述通过四个关键领域的研究，即轻量级骨干模型的发展、面向特定计算机视觉任务的专用网络架构或算法、深度学习模型压缩技术以及在硬件平台上部署高效深度网络的策略，对计算效率高的深度学习进行了广泛分析，并讨论了该领域面临的关键挑战和未来研究方向。
Aug, 2023