通过级联语言模型的优化训练方法，本研究提出了一种能够减少服务成本和延迟的解决方案，并在超过 60 个语言模型任务中展示了该方法的价值。

May, 2024

互动智能计算应用越来越普遍，需要优化以降低每个事件的延迟，同时保持高吞吐量和高效的资源管理。Cascade 是一个新的 AI/ML 托管平台，旨在解决这个难题。创新之处包括最小化数据拷贝的兼容传统系统的存储层和最大化响应性能的数据与计算合并的 “快速路径”。我们的评估显示，Cascade 可以将延迟降低数个数量级，同时不损失吞吐量。

Nov, 2023

本文研究了一种简单的自适应推理方案，通过构建级联模型集成（CoE）并根据集成一致性作为数据依赖路由准则，将资源高效的模型逐渐扩展到更表达能力的模型，从而提高准确性并降低推理成本。

Jul, 2024

本研究提出了 MultiTASC，这是一种多租户感知的调度程序，可以自适应地控制多设备中转发决策功能，以最大化系统吞吐量，同时维持高精度和低延迟。

Jun, 2023

通过在线级联学习，我们提出了一种学习级联的方法来应对大规模语言模型推理的高计算成本问题，通过确定适用的模型以及推迟策略，可以将推理成本降低至 90%，并保持与大规模语言模型相当的准确性，凸显其在流处理中的有效性和适应性。

Feb, 2024

本研究旨在探讨利用容量不同的模型集合进行级联的 Model Cascading 技术，能够提高 NLP 系统的计算效率和预测准确性，并且引入更多模型可进一步提高效率。

Oct, 2022

本文提出了一种基于‘Structured Prediction Cascade’的新型结构预测方法，通过一系列逐步添加模型的方式，可以有效实现对输出状态空间的过滤和精细调整，并且在优化过程中控制过滤效率与准确率的平衡，通过对模型进行不断优化，显著提升结构预测任务的效率与准确性。

Aug, 2012

该论文介绍了 ServeFlow，一个针对网络流量分析任务的机器学习模型服务解决方案，它通过仔细选择收集数据包的数量和应用于各个流量的模型，实现最小延迟、高服务速率和高准确性之间的平衡。

Feb, 2024

本文介绍了一种近似算法，将一组预训练模型作为输入，并生成一个具有类似准确度但平均成本较低的级联模型，应用于最先进的 ImageNet 分类模型，可将浮点乘法降低达 2 倍，并将平均情况下的内存 I / O 降低达 6 倍。自动生成的级联呈现出直观的特性，如对易于处理的图像使用较低分辨率输入，并在使用计算成本较低的模型时需要更高的预测置信度。

Feb, 2018

该论文提出了一种使用深度神经网络级联和选择模块的新框架，通过同时优化预测准确性和能耗，实现了在测试时间的有效成本 - 准确性权衡，验证了该方法在图像分类任务中优于标准训练的 ResNets，对 CIFAR-10/100 数据集的 FLOPs 成本需求不到 20% 和 50%，在 ImageNet 数据集上只需求 66%。

Oct, 2017