Nov, 2023

级联：一种适用于延迟敏感边缘智能的平台

PDF
TL;DR互动智能计算应用越来越普遍，需要优化以降低每个事件的延迟，同时保持高吞吐量和高效的资源管理。Cascade 是一个新的 AI/ML 托管平台，旨在解决这个难题。创新之处包括最小化数据拷贝的兼容传统系统的存储层和最大化响应性能的数据与计算合并的 “快速路径”。我们的评估显示，Cascade 可以将延迟降低数个数量级，同时不损失吞吐量。
interactive intelligent computing applicationsai/ml platformslatencyhigh throughputresource management
发现论文，激发创造
  • CascadeServe: 解锁模型级联进行推理服务

    CascadeServe 通过使用模型级联进行端到端的推理服务自动化和优化，在不同工作负载上与现有技术进行比较时，在延迟 - 准确性空间的广泛范围内可以节约 2-3 倍的成本。

    Jun, 2024

  • 级联感知语言模型的训练

    通过级联语言模型的优化训练方法，本研究提出了一种能够减少服务成本和延迟的解决方案，并在超过 60 个语言模型任务中展示了该方法的价值。

    May, 2024

  • MultiTASC：一种面向多租户的级联 DNN 推理消费边缘调度器

    本研究提出了 MultiTASC，这是一种多租户感知的调度程序，可以自适应地控制多设备中转发决策功能，以最大化系统吞吐量，同时维持高精度和低延迟。

    Jun, 2023

  • 可扩展的端到端机器学习平台：从自动机器学习到自助式服务

    研究探讨了机器学习平台的发展、可伸缩性以及实现自助服务质量的要求和能力，并结合两个商业化的端到端机器学习平台来说明其推广应用及未来发展的目标。

    Feb, 2023

  • 人工智能加速云 (ACAI)

    提出了一种基于云端的机器学习平台 ACAI，通过实现云端存储、自动资源配置、日志记录和实验追踪等功能，提高了机器学习从业人员的工作效率。在 MNIST 手写数字分类任务上测试了自动资源配置器的效力，并通过实验和访谈研究了系统的可用性。结果显示，自动资源配置器提高了 1.7 倍的速度和 39％的成本降低，并在典型的机器学习应用中减少了 20％的实验时间。

    Jan, 2024

  • 学习推理和行动物理级联事件

    介绍了一个称为 “Cascade” 的新型监督学习框架，使用基于事件的前向模型和语义树搜索算法来教会 AI 在复杂的动态环境中进行干预，并推动级联式事件触发达到特定的 “反事实” 目标，从而有效地遵循指令。

    Feb, 2022

  • 在线级联学习以提高流式推理效率

    通过在线级联学习，我们提出了一种学习级联的方法来应对大规模语言模型推理的高计算成本问题，通过确定适用的模型以及推迟策略，可以将推理成本降低至 90%，并保持与大规模语言模型相当的准确性，凸显其在流处理中的有效性和适应性。

    Feb, 2024

  • 级联变压器：用于高效答案句选择的应用

    本文介绍了级联变压器模型的简单而有效技术，其中通过一系列排名器来修剪批处理中的一部分候选项，从而在推理时显着提高吞吐量，与现有模型相比，我们的方法在不影响准确性的情况下将计算量减少了 37％，并在两个英文问答数据集上进行了评估。

    May, 2020

  • DeepCas: 一种端到端的信息串联预测器

    研究了一种利用深度学习技术预测信息级联大小的方法，并发现该方法可以显著提高级联预测的性能。

    Nov, 2016

  • 重访级联集成以提高推理效率

    本文研究了一种简单的自适应推理方案，通过构建级联模型集成（CoE）并根据集成一致性作为数据依赖路由准则，将资源高效的模型逐渐扩展到更表达能力的模型，从而提高准确性并降低推理成本。

    Jul, 2024