本研究提出了考虑调度和分批的 LazyBatching 技术，采用独立的图节点粒度实现了对动态推理请求的优化，并比 Graph batching 在平均响应时间、吞吐量和 SLA 满足度方面实现了 15 倍、1.5 倍和 5.5 倍的提高。

Oct, 2020

本文提出了 InferLine 系统，该系统由低频组合规划器和高频自动化调试器组成，能够根据查询到达流程的变化自动调整各个阶段的自动缩放到达目标的阈值，从而实现最小化成本或实现服务水平目标，有效解决了跨多个模型和硬件加速器的 ML 预测流程的优化配置问题。

Dec, 2018

本文提出了一种基于弹性计算资源的深度学习压缩方法，即 EDL-Dist，可用于从大型深度模型创建紧凑的学生模型，支持训练和推理过程的容错性，并且其吞吐量比在线知识蒸馏基准方法提高了 3.125 倍，而精度相当或更高。

Jul, 2022

本文介绍了利用 KFServing 这一构建在 KNative 无服务器框架之上的服务器化机器学习推理解决方案，在保持简洁一致的界面的同时缓解了基础设施成本与 GPU 推理的自动扩容挑战。

Jul, 2020

提出了一种基于学习的 BCEdge 调度框架，其对边缘平台上多个深度神经网络模型进行自适应分批和并发执行，从而实现高吞吐量和低延迟。通过最大熵深度强化学习优化批大小和并发模型数量，不仅提高了系统利用率，还较完美地满足了质量服务要求 (SLO)。

May, 2023

EdgeBERT 是一种算法硬件协同设计，提供基于熵的早期退出预测，以进行动态电压频率缩放 (DVFS)，从而实现最小能耗，同时遵循预定的目标延迟，以适应资源受限的边缘平台，在最小的计算和存储占用开销下，提供多任务自然语言处理 (NLP) 加速，相比于传统的推理方法，无限制的早期退出方法以及在 Nvidia Jetson Tegra X2 移动 GPU 上的 CUDA 适配，EdgeBERT 硬件系统在激活多任务 NLP 推理加速方面，能够生成高达 7x，2.5x 和 53x 的低能耗。

Nov, 2020

本文介绍了 MLProxy，它是一种自适应反向代理，支持在无服务器计算系统上高效地处理机器学习服务工作负载。通过适应性批处理，MLProxy 可以确保满足 SLA 要求的同时优化无服务器成本，为服务器无部署降低了高达 92％的成本，同时将 SLA 违规降低了高达 99％。

Feb, 2022

该论文介绍了一种新颖的在线推断框架，用于低秩张量学习，其中采用随机梯度下降，在不需要大量内存的情况下实现了高效的实时数据处理，大大降低了计算需求。该方法还提出了一种简单而强大的在线去偏置方法，用于顺序统计推断，从而消除了数据分割或存储历史数据的需求，使其适用于即时假设检验。

Dec, 2023

通过内部和外部优化，EdgeOL 边缘在线学习框架优化了推理准确率、微调执行时间和能量效率，平均降低了 82% 的微调执行时间和 74% 的能量消耗，并提高了 1.70% 的平均推理准确率。

Jan, 2024

通过最大化节点对输出的影响分数来理论建模批处理构建，在推理方面 IBMB 加速了最多 130 倍，并且通过使用自适应优化和正确的训练计划 IBMB 还可以加速训练，每个时期快 18 倍，并且与先前方法相比，每个运行时收敛速度最高可达 17 倍。

Dec, 2022