Feb, 2024

探索浏览器内深度学习推理对用户体验质量和性能的影响

PDF
TL;DR深度学习在 Web 应用中的 “浏览器内推理” 方法正在被广泛应用，然而该方法的实际性能以及对用户体验质量（QoE）的影响尚未得到很好的了解。本研究通过对广泛使用的 9 个深度学习模型在 50 个流行的 PC Web 浏览器上的测试，提出了新的性能指标，包括响应速度、流畅度和推理准确性，研究结果显示浏览器内推理存在显著的延迟问题，相比本地推理方法，CPU 平均延迟慢 16.9 倍，GPU 平均延迟慢 4.9 倍，并且浏览器内推理对内存的需求非常大，有时达到 DL 模型本身大小的 334.6 倍，这导致了内存管理的亚最优性。此外，浏览器内推理还显著增加了 Web 浏览器中图形用户界面（GUI）组件加载的时间，对依赖该技术的 Web 应用用户的整体 QoE 造成严重影响。
deep learningin-browser inferenceuser experience qualitylatencymemory usage
发现论文，激发创造
  • 通过实时内核优化加速在各种边缘客户端上的浏览器内深度学习推理

    本文介绍了一个用于在浏览器中进行深度学习推断的系统，利用新颖的网络编程技术和自动生成优化内核的方法，在保持或提升性能的同时，显著降低了内核生成时间和调优成本。通过在各种设备上的评估，结果表明该系统在不同模型上比基准测试快 8.2 倍。

    Sep, 2023

  • 硬件感知机器学习：建模与优化

    本篇论文全面评估现有的面向硬件的深度学习模型建模和优化方法，提出几个值得探讨的研究方向，旨在让深度学习的应用对硬件系统和平台产生显著影响。

    Sep, 2018

  • 超越推断：计算机视觉 DNN 服务器开销的性能分析

    对计算机视觉的深度学习系统进行综合评估，发现数据处理和系统吞吐量是深度学习应用性能的重要瓶颈，并提出了更全面的深度学习系统设计方法。

    Mar, 2024

  • 异构移动处理器上的深度学习推理：潜力与陷阱

    在资源受限的移动设备上部署计算密集型的深度学习模型以实现实时智能应用的需求与日俱增，在各种处理单元（如 CPU、GPU 和 NPU）的支持下，移动设备有潜力通过在异构处理器之间进行并行执行来加速深度学习推理。本文通过精心设计的实验，涵盖了各种深度学习模型、移动软件 / 硬件环境、工作负载模式和资源可用性，综合性地评估了在异构移动处理器上进行并行深度学习推理的能力和挑战，并确定了现有技术的局限性，并强调了跨层级优化的机会。

    May, 2024

  • 移动云协同智能推理

    在移动设备上，利用深度学习模型进行 AI 应用程序时，采用共享的移动 - 云推理方法可以降低推理的延迟、能源消耗和网络带宽使用，同时提供隐私保护措施。

    Jun, 2023

  • 使用移动 GPU 进行设备端神经网络推断

    本文介绍了如何利用手机上普遍存在的 GPU 加速器，在 Android 和 iOS 设备上实现深度神经网络的实时推断，并将其集成到开源项目 TensorFlow Lite 中。

    Jul, 2019

  • 绿色人工智能：不同运行时基础设施下深度学习模型的能量消耗初步实证研究

    本研究通过监测三个知名的深度学习框架和 ONNX 的运行时基础设施，使用三种不同的深度学习模型来测试能耗和推理时间，发现深度学习的性能和能效难以预测，并且不同的框架和执行提供者在不同场景下表现各异。转换为 ONNX 通常能显著提高性能，但批量为 64 的 ONNX 转换 ResNet 模型比原始的 PyTorch 模型多消耗约 10% 的能量和时间。

    Feb, 2024

  • 深度学习应用中的分层推理在线算法

    研究了嵌入小型机器学习模型的资源受限边缘设备与托管大型机器学习模型的边缘服务器之间的 Hierarchical Inference 策略，提出了在线元学习框架，以预测小型模型的分类猜测正确性，并使用四个数据集对其性能进行了评估。

    Apr, 2023

  • 网络边缘分层深度学习推断的案例

    本文介绍了一种新的分层推理方法（hierarchical inference），旨在解决资源受限的边缘设备上深度学习推理的精度和开销问题，同时探讨了该方法在机器故障检测和图像分类应用中的可行性和优势。

    Apr, 2023

  • 在 CPU 上加速大型语言模型的推断

    利用 CPU 加速大型语言模型推理的并行化方法提高吞吐量，通过利用现代 CPU 体系结构的并行处理能力和批处理推理请求，与多个工作程序在同一设备上运行以进行更多的吞吐量改进，可以减少 LLM 的功耗约 48.9％，并提供具备生产环境的吞吐量和延迟。

    Mar, 2024