Mar, 2023

在资源受限环境中运行关键的机器学习模型

PDF
TL;DR研究表明，机器学习（尤其是深度学习）发展的加速，是医学影像分析和计算机辅助干预领域取得突破的原因。然而，深度学习模型需要大量的训练数据、计算和能源成本，这是在临床部署这些模型时要克服的障碍。为了解决这个问题，机器学习社区正在努力引入资源效率概念，以减轻内存使用量等问题。本文通过探究模型资源消耗和性能之间的平衡，特别是在诊所等重要场景中使用的模型中，展示了这些方法在减少资源利用方面的有效性和性能方面的成本。
发现论文，激发创造
  • 嵌入式系统资源高效神经网络

    本文总结了机器学习中的实际需求和挑战，重点介绍了深度神经网络的三种资源效率技术：量化神经网络，网络剪枝和结构效率，以及它们在诸如 CPU，GPU 和 FPGA 等嵌入式系统中的应用和实验结果。

    Jan, 2020

  • 面向资源受限环境的轻量级深度学习综述

    在过去的十年中，深度学习在自然语言处理、计算机视觉和生物医学信号处理等各个人工智能领域中占据主导地位。虽然模型的准确性有了显著提高，但将这些模型部署在移动手机和微控制器等轻量设备上受到资源限制的制约。本调查报告针对这些设备提供全面的设计指导，详细介绍了轻量模型的细致设计、模型压缩方法和硬件加速策略。本工作的主要目标是探索在不影响模型准确性的情况下克服硬件限制的方法和概念。此外，我们还探讨了未来轻量深度学习的两个值得关注的方向：TinyML 和大型语言模型的部署技术。尽管这些方向无疑具有潜力，但它们也带来了重大挑战，鼓励研究未开拓的领域。

    Apr, 2024

  • 公平通过获取：小规模深度学习的案例

    通过检验 131 个不同的 DL 体系结构，并在三个医学图像数据集上捕捉性能 - 资源权衡的趋势，我们引入了一种新的度量方法来估计每个资源单位的性能（PePR 得分），从而解决大规模 DL 模型的资源消耗问题。我们还展示了使用预训练模型可以显著减少计算资源和数据要求，并希望这项工作可以鼓励开发 smaller resource footprints 的方法和模型，从而提高 AI 的公平性。

    Mar, 2024

  • 程序阶段的模型复杂度

    在资源受限的计算系统中，序列预测模型必须在严格约束下运行。我们提出了一种理论和相关的实证方法，探索一种特定类型机器学习模型（如深度神经网络）的成本与预测质量之间的权衡空间，以增加对资源受限任务模型的理论和实践限制的认识。

    Oct, 2023

  • 深度学习的计算界限

    通过对深度学习应用的依赖程度的分析，本文发现目前的进展主要依赖计算能力的提升。然而，这种趋势在经济、技术和环境上都具有不可持续性。因此，要想在这些应用领域取得更进一步的进展就必须依靠更为高效的计算方法，这要么意味着改变深度学习的方法，要么就是使用其他机器学习方法。

    Jul, 2020

  • 低碳计算机视觉的全周期能耗基准

    本文提出了一种新的度量标准来衡量高效计算机视觉模型在不同应用场景下的全周期能耗，以提供在选择高效深度学习算法时降低碳排放的参考。

    Aug, 2021

  • 计算效率高的计算机视觉深度学习：综述

    过去十年来，深度学习模型在各种视觉感知任务中取得了显著进展，但其高计算资源需求限制了其在实际应用中的可行性。本综述通过四个关键领域的研究，即轻量级骨干模型的发展、面向特定计算机视觉任务的专用网络架构或算法、深度学习模型压缩技术以及在硬件平台上部署高效深度网络的策略，对计算效率高的深度学习进行了广泛分析，并讨论了该领域面临的关键挑战和未来研究方向。

    Aug, 2023

  • ML 训练与推断中的能耗实证研究

    本研究旨在通过研究绿色机器学习，考察不同模型架构和超参数在训练和推理阶段中的能效实践，以提供可持续的机器学习操作的实用指南，强调降低能耗和碳足迹同时保持性能。

    Jun, 2024

  • 面向资源受限移动机器人的模型压缩

    本研究专注于利用模型压缩技术，如剪枝和知识蒸馏，将预先训练的计算机视觉模型的复杂性和参数总数降低，从而在无法访问边缘基础设施时允许在移动机器人上执行这些任务。结果表明，可以删除计算机视觉模型总参数的 90％，而不会显着降低模型的准确性。

    Jul, 2022

  • 高效深度学习：关于使深度学习模型更小、更快、更好的调查

    介绍了深度学习效率问题和五个核心领域，包括建模技术、基础设施和硬件，并提出实验指南和代码，为实践者优化模型培训和部署提供支持。这是第一个详尽的调查，涵盖了从建模技术到硬件支持的模型效率领域，帮助实践者实现改进并装备他们以进行进一步的研究和实验。

    Jun, 2021