Aug, 2023

LAMBO：大型语言模型增强边缘智能

PDF
TL;DR利用大型语言模型（LLM）和移动边缘计算（MEC），我们提出了一种基于 LLM 的离线框架（LAMBO）来解决传统深度离线架构面临的问题，通过四个组成部分实现了高性能决策制定、预训练和在动态环境变化下微调解码器。模拟结果证实了 LAMBO 框架的优势。
next-generation edge intelligenceoffloading systemslarge language modelsllm-based offloading (lambo) frameworkmobile edge computing
发现论文，激发创造
  • 推动大型语言模型走向 6G 边缘：愿景、挑战和机遇

    大型语言模型的部署面临一些挑战，云部署方式会有长时间响应、高带宽成本和数据隐私问题。文章探讨了在 6G 边缘部署语言模型的潜力，介绍了多模态语言模型的关键应用，并提出了 6G 移动边缘计算的架构。此外，讨论了边缘训练和边缘推理的设计方面，提出了一些有效的技术以促进语言模型的高效部署。

    Sep, 2023

  • EDGE-LLM：通过层间统一压缩和自适应层调整与投票在边缘设备上实现高效的大型语言模型适应

    边缘设备上实现的大型语言模型 (LLM) 的高效调整是连续和隐私保护适应和推理所需的关键，本研究介绍了一种计算和内存高效的 LLM 调整框架 Edge-LLM，通过生成逐层剪枝稀疏性和量化位宽策略来减少计算开销，通过减少反向传播深度的自适应层调整和投票方案来减少内存开销，通过处理 LUC 和自适应层调整引入的不规则计算模式的互补硬件调度策略来实现高效的计算和数据移动。实验证明，Edge-LLM 相比原始调整方法在任务准确性相当的情况下实现了 2.92 倍的加速和 4 倍的内存开销降低。

    Jun, 2024

  • 边缘设备的分布式威胁情报：基于大型语言模型的方法

    通过将轻量级机器学习模型部署到边缘设备上，实时分析本地数据流，如网络流量和系统日志，分发计算任务到边缘服务器提高响应性，提供更好的威胁检测和缓解措施，提高网络边缘的安全性。

    May, 2024

  • 当生活给你 LLMs 时，制作 LLM-ADE：具有自适应数据工程的大型语言模型

    LLM-ADE 框架是一个新颖的大型语言模型（LLMs）连续预训练方法，解决了灾难性遗忘和双下降的挑战。在特定数据集上，LLM-ADE 采用了动态架构调整的策略，包括选择性冻结和扩展，以增强模型对新数据的适应性，同时保留先前获得的知识。我们通过在各种通用知识基准测试上展示 LLM-ADE 在 TinyLlama 模型上的有效性，显示出显著的性能改进，避免了传统连续训练方法的缺点。这种方法在实际应用中有着更多的灵活性和鲁棒性。

    Apr, 2024

  • 基于需求定制的 LMLs 服务

    通过引入层级分布式的大型语言模型（LLM）架构，提高 LLM 在异构计算平台上的可访问性和可部署性，实现按需访问和定制化服务，并在用户与应用需求之间取得最佳权衡，推动人工智能技术的进步。

    Jan, 2024

  • 大型语言模型与模型驱动工程在集中式车辆系统自动化开发中的协同效应

    我们提供了一个原型工具，利用模型驱动工程（MDE）和大型语言模型（LLM）的协同作用，以实现汽车行业软件开发过程的自动化。在这种方法中，用户提供的输入是自由形式的文本需求，首先使用 LLM 将其转换为 Ecore 模型实例表示，然后使用对象约束语言（OCL）规则检查其一致性。在成功的一致性检查后，模型实例被作为输入提供给另一个 LLM，以进行代码生成。所生成的代码在一个紧急制动场景的模拟环境中，通过连接到一个示例的集中式车辆架构的 CARLA 模拟器进行评估。

    Apr, 2024

  • EdgeMoE: 基于 MoE 的大规模语言模型的快速设备上推断

    EdgeMoE 是面向边缘设备的第一个在设备上推理引擎，针对稀疏 LLMs 的一种流行变体，它通过在存储层次结构中策略性地分割模型，实现了内存和计算效率的提升。它使用两种创新技术来降低专家 I/O 交换的开销，经过实证评估，与竞争性基线解决方案相比，EdgeMoE 在内存节省和性能改进方面展现出显著优势。

    Aug, 2023

  • 基于语言模型的本体中新概念定位框架

    使用语言模型将从文本中提取的新概念插入本体的任务中，我们探索了一种三步骤的方法：边缘搜索，边缘形成和丰富，边缘选择。在所有步骤中，我们提出利用神经方法，其中我们应用基于嵌入的方法和 BERT 等预训练语言模型的对比学习进行边缘搜索，并采用基于 BERT 微调的多标签边缘交叉编码器以及 GPT 系列、FLAN-T5 和 Llama 2 等大型语言模型进行边缘选择。我们评估了使用 SNOMED CT 本体和 MedMentions 实体链接基准创建的最新数据集上的方法。我们框架中的最佳设置使用了经过微调的预训练语言模型进行搜索，以及用于选择的多标签边缘交叉编码器。LLMs 的零 - shot 提示对于该任务仍然不足，因此我们提出了 LLMs 可解释指令调整以改进性能。我们的研究展示了预训练语言模型的优势，并突出了鼓舞人心的 LLMs 性能，这激发了未来的研究。

    Feb, 2024

  • 混合专家语言模型的快速推断与卸载

    通过参数卸载算法和利用 MoE LLMs 的固有属性提出一种新策略，使消费者硬件和免费 Google Colab 实例上能够运行 Mixtral-8x7B 型号的 MoE 语言模型。

    Dec, 2023

  • 高效经济的大型语言模型推理与注意力卸载

    通过引入关注点卸载的概念，将昂贵的计算优化加速器与便宜的内存优化设备相结合，以提高大型语言模型的效率和成本效益。我们开发了 Lamina 推理系统，实验证明，相较于同质解决方案，Lamina 可以提供每美元 1.48 倍至 12.1 倍的更高预计吞吐量。

    May, 2024