Jan, 2022

通过流水线实现从设备内AI向设备间AI的转变

HTML
PDF
TL;DR该论文提出了将智能服务计算位置从传统的云服务器转移到相应的设备上的思路，并利用NNStreamer流水线框架实现在设备上的AI服务，以提高性能并节约开发和硬件资源。该框架不仅有利于保护隐私，减少网络延迟和云成本，还能在任意制造商的连接设备之间实现AI服务的共享和重复部署，以推动“设备间AI”技术的发展。
发现论文，激发创造
  • NNStreamer: 神经网络流处理范式，面向设备上的AI应用程序的高效开发和执行

    nnstreamer是一种以流处理范式为基础，将神经网络作为流水线过滤器处理的软件系统，可以高效地处理复杂的数据流模型，降低开发成本，实现在设备端进行AI处理。

    Jan, 2019

  • 设备端机器学习：算法与学习理论视角

    本篇论文对设备上的机器学习进行了全面的调查和分类，将On-device Learning问题重新表述为资源受限的学习，如何在设备资源有限的情况下进行模型训练是未来需要关注的重点。

    Nov, 2019

  • 利用非相干光计算进行AI加速的跨层设计

    本文介绍了一种基于非相干光学计算平台的 AI 工作负载加速方法，通过交叉层设计，优化了非相干光学计算平台的光学器件工程、调谐电路增强和架构创新，并探讨了硬件 / 软件协同设计等技术来智能化映射和适应 AI 软件，以提高其在非相干光学计算平台上的性能。

    Mar, 2023

  • 可扩展、分布式 AI 框架：利用云计算提高深度学习性能和效率

    本文全面研究了利用云计算的可扩展和分布式人工智能框架以提高深度学习性能和效率的关键方面，包括数据存储和管理、优化策略、模型部署与服务等，并讨论了云计算人工智能的挑战、限制和未来研究方向。

    Apr, 2023

  • 面向计算受限异构设备的联邦学习：综述

    随着越来越多的物联网设备在现场部署，将神经网络的训练卸载到中央服务器变得越来越不可行，本文调查了联合学习在克服异构性挑战方面的应用和益处。

    Jul, 2023

  • 跨层优化实现资源高效AIoT系统：综述

    人工智能物联网（AIoT，AI+IoT）领域是由智能基础设施的广泛使用和深度学习（DL）的显著成功推动的。本研究通过优化资源友好型的深度学习模型以及模型自适应系统调度，来改善DL模型的准确性和响应性，推动由单独级别设置的性能边界。此外，针对AIoT环境的动态特性，本文还探索了适用于不同级别的上下文感知控制器，实现自动跨级别适应，并提出了资源高效的AIoT系统的一些潜在方向。

    Sep, 2023

  • 基于成本的机器学习流水线硬件软件协同优化

    通过量化、成本限制平台等因素综合考虑，探讨如何在边缘平台上最优化地设计系统和部署模型，以实现广泛适用的智能设备。

    Oct, 2023

  • 异构受限计算中的边缘AI推断：可行性与机遇

    网络边缘在人工智能（AI）推理处理中的作用正在快速扩大，驱动力是众多寻求计算优势的应用程序。

    Oct, 2023

  • ALTO: 一个高效的用于复合AI系统的网络协调器

    ALTO是一种网络编排器，用于高效地服务复合AI系统，例如语言模型的流水线。ALTO通过利用生成性语言模型的优化机会，即流式中间输出，实现高吞吐量和低延迟。我们强调了在跨分布式管道阶段实现中间数据流的两个新挑战：正确性和负载均衡，并提出了聚合感知路由接口和分布式提示感知调度的需求来解决这些挑战。我们展示了ALTO的部分输出流对复杂的聊天机器人验证流水线的影响，在固定延迟目标为4秒/请求的条件下，增加吞吐量最多可达到3倍，同时与基准服务方法相比，减少了尾延迟1.8倍。

    Mar, 2024

  • TF2AIF：在云边界连续上加速AI模型的开发和部署

    通过创建多个高级语言版本的某个 AI 函数输入，以适应多种不同的硬软件平台，TF2AIF 填补了当前生态系统中的一个空白，并通过要求用户最少的时间或专业知识，促进资源管理或自动化操作的研究。

    Apr, 2024