efficient deployment | BriefGPT

关键词efficient deployment

搜索结果 - 8

Xmodel-VLM: 一个简单的多模态视觉语言模型基准
我们介绍了 Xmodel-VLM，这是一款先进的多模态视觉语言模型，旨在在消费级 GPU 服务器上进行高效部署。我们的工作直接应对了一个关键行业问题，即解决了巨大规模多模态系统普及所面临的高昂服务成本限制。通过严格的训练，我们从头开始开发了
PDF2 months ago
KV 缓存每通道 1 位：带耦合量化的高效大语言模型推断
通过 Coupled Quantization (CQ) 技术，我们能够更信息效率地对大模型 (Large Language Models) 的 KV 缓存进行压缩，从而提高效率并保持模型质量。
PDF2 months ago
LLM 推理揭示：调查及屋顶线模型洞见
大型语言模型 (LLM) 推理的高效领域正迅速发展，我们的研究通过基于屋顶线模型的框架，系统分析 LLM 推理技术，鉴别 LLM 部署瓶颈，深入理解实际设备的实际方面，并综合整理权重优化、解码算法改进和硬件系统增强等关键领域的最新进展，提供
PDF4 months ago
DTMM：使用剪枝在极弱 IoT 设备上部署 TinyML 模型
DTMM 是一个针对微控制器单元（MCUs）等弱物联网设备上的高效部署和执行机器学习模型而设计的库。通过对模型进行修剪（pruning）以在低能耗的设备上实现高效执行，DTMM 旨在填补现有解决方案无法实现紧凑压缩和高效执行的缺口。
PDF6 months ago
AAAI高效的去除天气影响多专家模型：基于不确定性感知的特征线性调制
我们提出了一个高效的 Mixture-of-Feature-Modulation-Experts（MoFME）架构，通过权重共享在一组专家中隐式地实例化多个专家。同时，我们还提出了一种具有良好校准权重的不确定性感知路由器（UaR），以将任务
PDF6 months ago
Q-YOLO：实时目标检测的高效推理
本研究描述了一种低位量化方法来构建一个高效的单级检测器，称为 Q-YOLO，有利于在资源受限的边缘设备上部署目标检测模型，从而实现减少计算和内存开销的实时检测。
PDFa year ago
AWQ：激活感知权重量化用于低限制存储压缩和加速
提出了一种基于激活函数的、硬件友好型的低比特权重量化方法。该方法可以保护神经网络的关键权重并保持其泛化能力，在不影响硬件效率的前提下，有效降低了语言模型部署的成本。
PDFa year ago
早期退出网络的自适应推断：设计、挑战与方向
该研究论文介绍了早期退出网络的设计方法和最新进展，比较了与其他高效推理解决方案的优劣，并提出了未来研究的挑战和方向。
PDF3 years ago