Jan, 2024

Chatterbox: 不稳定网络中LLM Token流媒体的健壮传输

HTML
PDF
TL;DR在不稳定的网络条件下，我们展示了当前的应用程序包括ChatGPT、Claude和Bard都会因为网络中断而导致大量停顿。为了解决这个问题，我们提出了一种名为Chatterbox的新的传输层方案，通过将新生成的令牌和当前未确认的令牌放入下一个传出数据包中，从而避免了由于缺失数据包而导致的停顿。通过在各种网络条件下进行模拟，我们展示了与实际的聊天机器人应用常用的令牌流方法相比，Chatterbox将停顿比例（令牌渲染等待时间的比例）降低了71.0％，与自定义数据包复制方案相比降低了31.6％。通过调整Chatterbox以适应LLM的令牌逐个生成，我们使得聊天机器人可以像一个雄辩的演讲者一样回复用户，以便更好地享受无处不在的人工智能。
发现论文，激发创造
  • 大型语言模型的公平性服务

    该论文介绍了基于成本函数的LLM服务公平性定义，并提出了一种新颖的调度算法，基于连续批处理机制的Virtual Token Counter（VTC），通过大量实验验证了VTC在确保公平性方面的卓越性能，特别是相对于其他基线方法在各种条件下的不足之处。

    Dec, 2023

  • 流之守望者: 在软件定义网络中释放大型语言模型进行动态包分类 -- 位置论文

    提出计划在网络安全领域探索大型语言模型的适用性，创建名为Sentinel的LLM用于分析网络数据包内容并评估威胁级别。

    Feb, 2024

  • ALTO: 一个高效的用于复合AI系统的网络协调器

    ALTO是一种网络编排器，用于高效地服务复合AI系统，例如语言模型的流水线。ALTO通过利用生成性语言模型的优化机会，即流式中间输出，实现高吞吐量和低延迟。我们强调了在跨分布式管道阶段实现中间数据流的两个新挑战：正确性和负载均衡，并提出了聚合感知路由接口和分布式提示感知调度的需求来解决这些挑战。我们展示了ALTO的部分输出流对复杂的聊天机器人验证流水线的影响，在固定延迟目标为4秒/请求的条件下，增加吞吐量最多可达到3倍，同时与基准服务方法相比，减少了尾延迟1.8倍。

    Mar, 2024

  • ROUTERBENCH：多层逻辑系统的基准测试

    提供了ROUTERBENCH评估框架和数据集，该框架可系统评估LLM路由系统的效力并比较各种路由方法的潜力和局限性，进一步推动了LLM路由系统的发展和评估标准的确立。

    Mar, 2024

  • ChatGPT备选方案：大型语言模型调查

    通过对多个LLM模型的研究，本文不仅提供了全面的概述，还明确了现有挑战，并指出了未来的研究方向。该综述提供了关于生成型人工智能的当前状态的全面观点，为进一步的探索、增强和创新提供了启示。

    Mar, 2024

  • 面向大型语言模型自动聊天服务的语义缓存

    通过对真实世界的人机交互数据进行分析，我们首次对基于大型语言模型的聊天服务的现有缓存解决方案进行了分析，发现当前的缓存方法未能充分利用语义连接，导致缓存性能低效和额外的标记成本。为了解决这些问题，我们提出了一种新的缓存架构 SCALM，强调语义分析，并识别重要的缓存条目和模式。我们还详细介绍了相应的缓存存储和清除策略的实现。评估结果显示，SCALM 提高了LLMChat服务的缓存命中率，并降低了运行成本。与GPTCache等其他最先进的解决方案相比，SCALM的平均缓存命中率相对提高了63％，标记节省率相对提高了77％。

    May, 2024

  • ChatBug：由聊天模板引起的对齐LLM的常见漏洞

    大型语言模型（LLMs）在遵循用户指令和进行对话方面具有重要意义。本文研究了聊天模板对LLMs安全对齐的影响，并发现了一个名为ChatBug的潜在漏洞。通过两种攻击方式，我们证明恶意用户可以利用ChatBug漏洞有效引导LLMs产生意外回应，并与现有越狱攻击结合提高攻击成功率。对抗性训练虽然可以有效减轻ChatBug漏洞，但牺牲了模型性能，因此需要平衡安全对齐和有用性之间的权衡。发展新的指令调优方法是未来研究的一个重要方向。

    Jun, 2024

  • 基于LLM的人工智能聊天机器人的全面调查

    本文全面调查了基于大型语言模型（LLMs）的聊天机器人在各个领域的进化和部署，总结了基础聊天机器人发展、LLMs演进，并提供了当前正在使用和开发中的基于LLMs的聊天机器人概述。我们将AI聊天机器人视为生成新知识的工具，探讨了它们在各个行业中的多样应用。然后，我们讨论了一些挑战，包括训练LLMs使用的数据和生成知识的滥用可能引发的问题。最后，我们展望未来，探索如何提升它们在众多应用中的效率和可靠性。通过介绍LLMs-based聊天机器人的关键里程碑和当今背景，我们的调查邀请读者深入研究这一领域，并思考它们的下一代将如何重塑对话型人工智能。

    Jun, 2024

  • 降低成本：大型语言模型KV缓存消耗优化方法综述

    本研究针对大型语言模型在处理长文本时效率低下的问题，探讨了KV缓存的优化方法。通过分析不同的KV缓存压缩策略，本文提供了在预训练、部署和推理阶段的优化方案，从而为大型语言模型的未来发展提供了新的见解和方向。

    Jul, 2024

  • 通过学习排序实现高效的LLM调度

    该研究针对大型语言模型（LLM）推理中的调度问题，提出了一种新的基于学习排序的调度方法，以解决传统先到先服务（FCFS）策略引发的阻塞问题。研究表明，通过预测请求批次中输出长度的相对排名，可以显著改善调度效率，实现了聊天机器人服务延迟降低2.8倍和合成数据生成吞吐量提高6.5倍的显著性能提升。

    Aug, 2024