Feb, 2024

在 NVIDIA Holoscan 中实现医疗 AI 系统的确定性端到端延迟

PDF
TL;DRAI 和 ML 技术将医疗设备带入了一个革命性的阶段，同时将多个应用程序整合到一个平台上，在 NVIDIA 的 Holoscan 平台背景下，本文提出了一种优化异构 GPU 工作负载的系统设计，通过对真实的 Holoscan 医疗设备应用进行实证评估，证明了性能的显著改善。
aimlmedical devicesgpu workloadsend-to-end latency
发现论文，激发创造
  • 智能流处理：医学图像分类和分割的高通量 AI 推理

    本文介绍了一种名为 “智能流媒体” 的新型框架，可用于加速、节约成本、优化带宽、提高 AI 推理在医学决策中的效率。通过在分类和分割方面取得了显著的优化，这一框架提供更快的周转时间、更少的数据传输成本以及更快的决策不良结果。

    May, 2023

  • HeteroEdge: 解决异构协作自主系统中的不对称问题

    本文提出了一个用于优化深度学习算法输入、模型推理通信、深度学习算法的自适应优化框架，并通过评估表明，将数据的 70% 分配给辅助结点可以最小化离线延迟，节约总操作时间。

    May, 2023

  • 智能路由规则与工作流管理的 AI 算法部署整合与实施策略

    通过评估医疗行业中人工智能解决方案的普及挑战，本文侧重于医学成像中的计算机视觉应用及其如何通过互操作性和企业级可扩展性来解决这些挑战。

    Nov, 2023

  • 面向比例尺下引力波检测的推理优化人工智能与高性能计算

    使用人工智能模型实现了天文学中引力波检测的加速化，经过针对性的优化处理，在 ThetaGPU 超级计算机上实现了分布式推理，相比传统的人工智能模型提高了 3 倍速度，同时在处理 5 年数据的实验中，每个月只有平均 1 次错误分类，具有实际应用价值。

    Jan, 2022

  • 基于成本的机器学习流水线硬件软件协同优化

    通过量化、成本限制平台等因素综合考虑，探讨如何在边缘平台上最优化地设计系统和部署模型，以实现广泛适用的智能设备。

    Oct, 2023

  • PARIS 和 ELSA：一种用于可重构多 GPU 推理服务器的弹性调度算法

    本研究探讨了 NVIDIA 最新发布的 Ampere GPU 体系结构在云机器学习推理系统中的应用，并提出了一种适用于异构 GPU 服务器部署的复杂划分算法和弹性调度算法，实现低延迟和高 GPU 利用率的平衡。

    Feb, 2022

  • HOLMES: 重症监护室深度学习模型的健康在线模型集成服务

    本文提出了一种在线模型集成服务框架 (HOLMES) 来应对医疗应用中的实时决策需求和准确性需求，在实现高精度的同时满足亚秒级的端到端预测延迟限制，通过测试证明其在儿童心脏 ICU 数据的风险预测任务上能够达到 95% 以上的预测准确率和亚秒级的预测延迟。

    Aug, 2020

  • 基于边缘计算无缝协作的分布式深度学习推理加速

    本文研究了使用分布式卷积神经网络（CNN）在协作边缘计算中进行推理加速。我们考虑了分段分区时的感受野，以确保推理准确度。为了最大化通信和计算进程之间的并行性，从而最小化推理任务的总时间，我们设计了一种新颖的任务协作方案，称为 HALP。实验证明，HALP 可以使 VGG-16 中 CNN 推理的速度提高 1.7-2.0 倍，对于 4 个任务每批次的速度提高 1.7-1.8 倍，这优于最先进的 MoDNN 方案。此外，我们评估了时变信道下的服务可靠性，表明 HALP 是确保高服务可靠性的有效解决方案。

    Jul, 2022

  • 嵌入式汽车平台上卷积神经网络包的性能 / 功耗评估

    最近的网络在嵌入式商用系统芯片上的有效性和效率进行了验证，为工程师选择最合适的卷积神经网络包和计算系统提供了指导。

    Oct, 2023

  • 医疗应用集成多模态人工智能框架

    本研究提出并评估了一种综合人工智能在医学领域的框架（HAIM），以促进利用多模态输入实现人工智能系统的生成和测试，该框架可在医疗保健环境中进行研究和部署，并通过使用 Shapley 值量化每个模态和数据源的贡献，展示了多模态输入在不同医疗任务中的必要性。

    Feb, 2022