Mar, 2024

ALTO: 一个高效的用于复合AI系统的网络协调器

HTML
PDF
TL;DRALTO是一种网络编排器，用于高效地服务复合AI系统，例如语言模型的流水线。ALTO通过利用生成性语言模型的优化机会，即流式中间输出，实现高吞吐量和低延迟。我们强调了在跨分布式管道阶段实现中间数据流的两个新挑战：正确性和负载均衡，并提出了聚合感知路由接口和分布式提示感知调度的需求来解决这些挑战。我们展示了ALTO的部分输出流对复杂的聊天机器人验证流水线的影响，在固定延迟目标为4秒/请求的条件下，增加吞吐量最多可达到3倍，同时与基准服务方法相比，减少了尾延迟1.8倍。
发现论文，激发创造
  • 推理与协作人工智能的构建基块

    通过引入 Flows 的概念框架，建立和研究结构化互动的系统化方法是非常重要的，研究表明结构化推理和协作能显著提高泛化能力，其中 AI Flows 的加成为 +21，人工智能和人类的协作加成为 +54（以解决率为指标），并且引入的 aiFlows 库可以支持快速且严谨的研究。

    Aug, 2023

  • 评估真实自主任务上的语言模型代理

    我们研究语言模型代理获取资源、自我复制和适应新挑战的能力，我们称之为“自主复制和适应”（ARA），并认为ARA可能具有广泛和难以预料的后果，对于安全、监测和对齐方面的措施提供有用的信息，此外，一旦系统具备ARA能力，限制其能力可能变得更加困难。

    Dec, 2023

  • TESS: 分布式自然语言理解模型的交互式多智能体系统的多目标解析器

    该研究提出了一种有效的解析和编排流水线算法，以满足多意图用户的需求，同时提供与竞争性深度学习模型相当的性能，并且速度可达到快速的 48 倍。

    Dec, 2023

  • 八爪鱼v2：面向超级特工的设备上语言模型

    我们的研究提出了一种新方法，通过使用20亿个参数的设备上模型，在准确率和延迟方面超越了GPT-4，并将上下文长度减少了95％。与基于RAG的函数调用机制Llama-7B相比，我们的方法将延迟提高了35倍，降低到适用于实际生产环境中各种边缘设备部署的水平，符合真实应用的性能要求。

    Apr, 2024

  • 朝着帕累托最优吞吐量的小语言模型服务

    通过实验和分析，本文旨在对小型语言模型的推理性能和能量效率进行基准测试，并得出结论说明模型复制可以有效提高服务小型语言模型时的资源利用率。

    Apr, 2024

  • 专家路由器：通过提示分类协调高效的语言模型推理

    通过引入专家路由器，我们设计了一个可以高效地编排多个专家模型的系统，以增强大规模部署和提供大语言模型的能力，并在高负载场景下实现更高的吞吐率。

    Apr, 2024

  • 面向企业的复合人工智能系统的蓝图架构

    大型语言模型已经展示出了超越传统自然语言处理挑战的卓越能力，为生产使用案例创造了机会。为了实现这一目标，出现了构建复合人工智能系统的显著转变，在其中将大型语言模型与包括模型、检索器、数据库和工具在内的广泛软件基础设施集成。本文介绍了一种针对复合人工智能系统在企业环境中进行成本效益和可行性操作的蓝图架构。我们提出的架构旨在与现有的计算和数据基础设施进行无缝集成，通过“流”作为关键的编排概念，在代理和其他组件之间协调数据和指令。任务和数据计划分别将任务和数据分解、映射并优化分配给在各自注册表中定义的可用代理和数据源，考虑生产约束条件，如准确度和延迟。

    Jun, 2024

  • CLRS-文本算法推理语言基准测试

    我们提出了CLRS-Text，它是一个基于文本的类似于算法追踪的数据集生成器，可用于在任意输入分布下生成各种具有挑战性的算法任务，并为理解能力模型为该基准提供了标准流程。

    Jun, 2024

  • ToolACE：赢得大型语言模型的函数调用能力

    本研究解决了大型语言模型函数调用应用中，难以收集和标注高质量真实数据的问题。提出了一种名为ToolACE的自动化生成工具学习数据的新方法，该方法通过自我进化合成过程生成准确且多样的工具调用数据。研究表明，基于合成数据训练的模型，即便参数量仅为8B，在伯克利函数调用排行榜上也能达到与最新GPT-4模型相媲美的性能，具有重要的应用前景。

    Sep, 2024

  • 微小智能体：边缘函数调用

    本研究针对大规模语言模型在边缘部署中的不足，提出了TinyAgent框架，旨在培养和部署小型语言模型代理以进行函数调用。研究表明，TinyAgent-1.1B和7B模型的函数调用能力超过了诸如GPT-4-Turbo等较大模型，在边缘计算中表现出色，具有显著的应用潜力。

    Sep, 2024