Sep, 2023

推动大型语言模型走向 6G 边缘：愿景、挑战和机遇

PDF
TL;DR大型语言模型的部署面临一些挑战，云部署方式会有长时间响应、高带宽成本和数据隐私问题。文章探讨了在 6G 边缘部署语言模型的潜力，介绍了多模态语言模型的关键应用，并提出了 6G 移动边缘计算的架构。此外，讨论了边缘训练和边缘推理的设计方面，提出了一些有效的技术以促进语言模型的高效部署。
large language models6g mobile edge computingkiller applicationsedge trainingedge inference
发现论文，激发创造
  • 当大型语言模型遇上 6G 网络：感知、基础和对齐

    利用移动设备和边缘服务器之间的协作，我们提出了一个用于 6G 网络中的 LLM 代理的分裂学习系统，其中具有不同角色的多个 LLM 代理分布在移动设备和边缘服务器上以协同执行用户代理交互任务。此外，我们引入了一种新颖的模型缓存算法，以提高上下文中的模型利用率，从而降低协作移动和边缘 LLM 代理的网络成本。

    Jan, 2024

  • 大型语言模型（LLMs）辅助城市环境下的无线网络部署

    利用大型语言模型（LLMs）为六代（6G）无线通信技术引入一种基于强化学习的新框架，该框架在都市环境中通过训练 RL 代理并结合卷积神经网络（CNNs）利用 LLMs 的优势以及减轻其限制，在优化区域覆盖范围的网络部署中表现出色。

    May, 2024

  • 边缘设备的分布式威胁情报：基于大型语言模型的方法

    通过将轻量级机器学习模型部署到边缘设备上，实时分析本地数据流，如网络流量和系统日志，分发计算任务到边缘服务器提高响应性，提供更好的威胁检测和缓解措施，提高网络边缘的安全性。

    May, 2024

  • 基于大型语言模型增强的 6G 通信多智能体系统

    利用大型语言模型（LLM）结合多智能体系统和自然语言输入，解决 6G 通信中的任务需求、通信知识获取和相关问题的评估与改进。

    Dec, 2023

  • 在资源受限的边缘设备上部署 LLMs 的实践指南

    通过对学习方法、个性化数据使用量、语言模型的类型和大小、压缩方法以及学习时间和目标用例难度之间的权衡进行实证研究，我们找到了一些用于将语言模型部署到资源受限设备上的指导方针。

    Jun, 2024

  • 基于需求定制的 LMLs 服务

    通过引入层级分布式的大型语言模型（LLM）架构，提高 LLM 在异构计算平台上的可访问性和可部署性，实现按需访问和定制化服务，并在用户与应用需求之间取得最佳权衡，推动人工智能技术的进步。

    Jan, 2024

  • LAMBO：大型语言模型增强边缘智能

    利用大型语言模型（LLM）和移动边缘计算（MEC），我们提出了一种基于 LLM 的离线框架（LAMBO）来解决传统深度离线架构面临的问题，通过四个组成部分实现了高性能决策制定、预训练和在动态环境变化下微调解码器。模拟结果证实了 LAMBO 框架的优势。

    Aug, 2023

  • 大型语言模型在电信行业的应用：下一个重大趋势？

    介绍引导性人工智能在电信领域中，为无线网络提供新机遇与应用的可能性，借助大型语言模型技术，实现具有人工智能的无线通信新领域的发展。

    Jun, 2023

  • 移动边缘计算、元宇宙、6G 无线通信、人工智能和区块链：调查与它们的融合

    本研究探讨了移动边缘计算（MEC）与新兴技术的融合，其中包括 Metaverse、6G 无线通信、人工智能 (AI) 和区块链，重点关注于这些技术的技术融合，如 MEC 和 6G 的融合、MEC 与区块链的融合等，并介绍了 MEC 在移动增强现实（MAR）和 Metaverse 的应用场景。

    Sep, 2022

  • 朝向高效的生成式大型语言模型服务：从算法到系统的调研

    人工智能中生成式大型语言模型的高效部署方法的综述

    Dec, 2023