CascadeServe 通过使用模型级联进行端到端的推理服务自动化和优化，在不同工作负载上与现有技术进行比较时，在延迟 - 准确性空间的广泛范围内可以节约 2-3 倍的成本。

Jun, 2024

通过级联语言模型的优化训练方法，本研究提出了一种能够减少服务成本和延迟的解决方案，并在超过 60 个语言模型任务中展示了该方法的价值。

May, 2024

互动智能计算应用越来越普遍，需要优化以降低每个事件的延迟，同时保持高吞吐量和高效的资源管理。Cascade 是一个新的 AI/ML 托管平台，旨在解决这个难题。创新之处包括最小化数据拷贝的兼容传统系统的存储层和最大化响应性能的数据与计算合并的 “快速路径”。我们的评估显示，Cascade 可以将延迟降低数个数量级，同时不损失吞吐量。

Nov, 2023

提出了一种基于 Transformer 网络的 TSNet-SAC 方案，用于 6G 移动边缘计算机自动驾驶系统中的实时调度和多模数据处理，通过引入幻数算法来指导 TSNet 的训练，以及增强鲁棒性和解决算法缺陷的滑动增强组件（SAC），并设计了 Extender 组件来处理多尺度训练数据和提供网络可扩展性，从而在准确性和鲁棒性上优于现有网络，并实现了与启发式算法相比更优秀的调度决策延迟。

Jun, 2023

通过实验我们的框架在 4 芯片系统上对 GPT-2 和 ResNet-50 模型的使用，相较于优化输出固定数据流的整体加速器，吞吐量和能效分别提高了 2.2 倍和 1.9 倍。

Dec, 2023

本文研究了一种简单的自适应推理方案，通过构建级联模型集成（CoE）并根据集成一致性作为数据依赖路由准则，将资源高效的模型逐渐扩展到更表达能力的模型，从而提高准确性并降低推理成本。

Jul, 2024

利用神经架构搜索（NAS）框架提出一种自动且有效的自适应学习方法来优化端到端级联多任务模型，通过在每个特定模块上选择冻结、插入适配器和微调等候选自适应操作，并在损失函数中添加了一个惩罚项限制学习结构，成功地压缩优化参数至相当于全微调的 8.7% 并获得更好的性能。

Oct, 2023

该论文提出了一种使用深度神经网络级联和选择模块的新框架，通过同时优化预测准确性和能耗，实现了在测试时间的有效成本 - 准确性权衡，验证了该方法在图像分类任务中优于标准训练的 ResNets，对 CIFAR-10/100 数据集的 FLOPs 成本需求不到 20% 和 50%，在 ImageNet 数据集上只需求 66%。

Oct, 2017

在物联网和 5G 时代，面对有限资源的挑战，我们提出了一种基于多流动态适应的轻量级人工智能模型，为实时模型适应性提供解决方案，并通过新的基于位置和天气条件的细胞定义的自适应学生 - 教师方法，在自主车辆导航中进行验证，同时发布了一个大规模的综合语义分割数据集，证明我们的多流方法优于单流基准模型。

Apr, 2024

最近的大规模语言模型等新型大规模混合模态工作负载大大增加了硬件的计算和内存需求。为了应对不断增长的需求，设计可扩展的硬件架构成为一个关键问题。在最近的解决方案中，基于 2.5D 硅互联器多芯片模块（MCM）的人工智能加速器已被广泛探索，由于其在低工程成本和可组合性方面具有显著优势。然而，以前的 MCM 加速器是基于具有固定数据流的同构架构，对于高度异构的多模型工作负载存在重大挑战，因为它们的工作负载适应性有限。因此，在本研究中，我们探索了采用异构数据流 MCM 人工智能加速器的机会。我们确定了在异构数据流 MCM 人工智能加速器上进行多模型工作负载调度是一个重要且具有挑战性的问题，由于其重要性和规模，即使在 6x6 芯片的单模型情况下，也达到 O（10 ^ 18）规模。我们开发了一组启发式方法来遍历巨大的调度空间，并将它们整理成具有高级技术（如芯片间流水线）的调度器。我们对十种多模型工作负载场景进行的评估（包括数据中心多租户和增强现实 / 虚拟现实应用）显示了我们方法的有效性，相比于同构基线，平均能减少 35.3% 和 31.4% 的能量 - 延迟产品（EDP）。

May, 2024