model compression techniques | BriefGPT

关键词model compression techniques

搜索结果 - 20

预训练变换器的矩阵分解方法的实证研究
通过比较传统的低秩分解与最近引入的 Monarch 分解，我们在 Transformer 压缩技术方面提出了一个全面的分析，发现低秩分解在不同压缩比和六个文本分类任务中始终优于 Monarch 分解。
PDF17 days ago
MobileAIBench: 用于设备上应用场景的 LLM 和 LMM 基准测试
通过使用较少参数和定量化等模型压缩技术，MobileAIBench 评估了多尺寸、定量化水平和任务，并在真实设备上测量延迟和资源消耗，旨在提供在移动平台上部署大型语言模型和多模态模型的性能和可行性洞察，加速移动 AI 研究和部署。
PDF22 days ago
基于深度学习的大规模语言模型在自然语言处理任务中的效率优化
通过理论分析大规模语言模型的内部结构和操作机制，探讨 Transformer 及其派生体结构如何在捕获长期依赖时限制计算效率，深入挖掘训练阶段的效率瓶颈，并详细评估自适应优化算法（如 AdamW）、大规模并行计算技术和混合精度训练策略对加速
PDFa month ago
通过结构化剪枝在初始化时快速部署边缘计算中的 DNN
利用结构化剪枝技术，Reconvene 系统可快速生成适用于边缘部署的经剪枝模型，大小减小了 16.21 倍，速度加快 2 倍，同时保持与未经剪枝的模型相同的准确性。
PDF2 months ago
视觉 Transformer 模型压缩与加速综述
本研究通过评估四种主要的模型压缩技术：量化、低秩近似、知识蒸馏和剪枝，解决了视觉 Transformer 在计算和内存需求方面的问题，并全面实验评估了这些技术及其组合在资源受限环境中优化 ViTs 的功效，证明了这些方法在模型精度和计算效率
PDF3 months ago
采用迭代度量剪枝推进工业物联网的 OTA 联邦学习
工业物联网（IIoT）在第四次工业革命下开启了一个互连的智能设备时代，其中数据驱动的洞察力和机器学习（ML）融合革新了制造业。在 IIoT 中，一个值得注意的发展是联邦学习（FL）的整合，解决了设备间的数据隐私和安全性。FL 使得边缘传感器
PDF3 months ago
生物识别应用中的模型压缩技术综述
深度学习算法在提高人类任务自动化能力方面发挥了重要作用，然而，这些模型性能的巨大提升与其日益复杂性高度相关，限制了它们在以人为本的应用中的实用性，而这些应用通常部署在资源受限的设备上。因此，我们需要压缩技术来大幅减小深度学习模型的计算和内存
PDF6 months ago
FFSplit：一种用于优化语言模型推理精度和效率权衡的分割前馈网络
优化预训练语言模型（PLM）在商用硬件上的部署，通过模型压缩技术提高效率，将 Feed-forward 网络划分为两部分以提高已有压缩方法的效果，并取得了可观的模型尺寸减小和推理速度提升的效果。
PDF6 months ago
神经架构联合设计用于快速布拉格峰分析
我们开发了一个自动化流水线，用于在高能衍射显微镜中进行快速实时 Bragg 峰分析的神经架构协同设计。通过神经架构搜索和 AutoML 等方法，我们改进了深度学习模型，减少了硬件成本，并发现了更加高效的神经架构。通过量化感知训练和神经网络剪
PDF7 months ago
面向更高参数效率的大语言模型微调：一篇立场论文
该研究论文从参数高效微调（PEFT）对大语言模型（LLMs）的迫切需求出发，强调了当前状态和进一步研究该主题的必要性，以及需要解决的重要挑战和开放问题，包括创新 PEFT 架构、不同学习设置的 PEFT、结合模型压缩技术的 PEFT 以及多
PDF7 months ago
EMNLP基于检索的知识迁移：一种有效的极端大型语言模型压缩方法
我们介绍了一种称为 Retrieval-based Knowledge Transfer (RetriKT) 的新型压缩模型的方法，通过从大规模预训练语言模型中提取知识，构建一个知识存储库，小规模模型可以从中检索相关信息并利用它进行有效推理
PDF8 months ago
一款高效稀疏推断软件加速器，用于基于转换器的语言模型在 CPU 上
本论文提出了一种基于定常块大小的高效稀疏深度学习推断软件堆栈，可以将稀疏加速器应用于 Transformer-based 语言模型，我们的稀疏加速器在处理各种 GEMM 形状时，比现有的稀疏库快一个数量级，在 Xeon 上具有高效的性能。
PDFa year ago
嵌入式和物联网平台的机器学习对抗攻击
本文是关于嵌入式与物联网系统中机器学习算法的鲁棒性对抗攻击及模型压缩技术的综述，进一步论述模型压缩方法对鲁棒性的影响，并探讨该领域的未解决问题。
PDFa year ago
CPU 上的快速 DistilBERT
本文介绍了一种新的在 CPU 上创建和运行快速 Transformer 模型的流水线，利用硬件感知剪枝、知识蒸馏和量化等模型压缩技术，通过优化稀疏和量化操作库的运行时引擎来提高推理效率，创造了一个 Fast DistilBERT 模型，其通
PDF2 years ago
模型压缩对面部表情识别公平性的影响
该研究研究了模型压缩技术对面部表情识别模型大小、准确性和公平性的影响，结果表明针对性的技术对模型大小有明显减小效果，对准确性几乎没有影响；对于不同的数据集，受敏感属性的影响不同，作者们对结果进行了分析并讨论了发现的潜在原因。
PDF2 years ago
ICML通过合成数据训练和模型压缩构建实时移动设备鸟类计数系统
本文介绍了建立高效鸟类计数系统的流程，利用合成数据集进行密度图估计，使用模型压缩技术和高效模型结构降低了存储成本从而提高了推理速度。
PDF5 years ago
REQ-YOLO: 面向 FPGA 目标检测的资源感知，高效量化框架
本文提出了 REQ-YOLO，一种资源感知的系统化权重量化框架，以达到实时、高效实现对象检测的目的。采用块循环矩阵方法和交替方向乘子法，同时提供详细的硬件实现和设计优化，并呈现实验结果证明该框架可以显著压缩 YOLO 模型，同时引入极小的精
PDF5 years ago
有阅读素养的学生学习更好：关于预训练紧凑模型的重要性
本文研究自然语言表示、模型压缩技术、预训练、微调和知识蒸馏等方面的互动关系，提出了一种简单而有效的预训练蒸馏算法，分析了模型大小和无标记任务数据属性对其的影响。
PDF5 years ago
ICLRSqueezeNet: 50 倍减少参数和 < 0.5MB 模型大小，达到 AlexNet 级别的准确性
该研究提出了一种名为 SqueezeNet 的小型深度神经网络结构，采用模型压缩技术，其参数数量不到 AlexNet 的 50 倍，在 ImageNet 数据集上实现了与 AlexNet 相当的精度，压缩后小于 0.5MB。
PDF8 years ago
ICLRActor-Mimic: 深度多任务和转移强化学习
本研究提出了一种名为 “Actor-Mimic” 的多任务学习和迁移学习方法，通过深度强化学习和模型压缩技术来训练一个单一的策略网络，并通过多个专家教师的指导来学习在不同任务中的行为，并使用先前的知识解决新任务。研究结果表明，该方法的表征能
PDF9 years ago