accelerate | BriefGPT - AI 论文速递

关键词accelerate

搜索结果 - 6

QQQ：大型语言模型的高质量四位量化
QQQ 是一种基于四位权重和八位激活的优质量化方法，通过自适应平滑和基于 Hessian 的补偿显著提高了量化模型的性能，并通过精心设计的 W4A8 GEMM 核心增加了推理速度。与现有的最新 LLM 量化方法相当的性能，显著加速推理，与
PDF22 days ago
利用 2:4 稀疏加速 Transformer 预训练
使用 NVIDIA Ampere GPU 利用 2:4 稠密 / 稀疏矩阵相乘的性质对 Transformer 的预训练进行加速，通过修改稀疏优化过程中的估计器和在预训练末端进行简单而有效的稠密微调，以及利用卷积计算可转置的 2:4 掩码和
PDF3 months ago
通过动态修剪加速矩阵分解以实现快速推荐
提出了算法方法加速矩阵分解，通过观察矩阵特征的细粒度结构稀疏性，重新排列特征矩阵并修剪不显著的潜在因素，实现了乘法和更新过程中的动态剪枝操作，加速了推荐系统中矩阵分解的训练过程。
PDF4 months ago
ECCVINGeo: 利用噪声几何先验加速神经网络实时场景重建
本研究提出了一种方法，利用目标场景的几何先验来加速 3D 场景和物体的重建，以实现在移动设备上的即时重建。
PDF2 years ago
ACLDeeBERT：加速 BERT 推理的动态早退出
DeeBERT 是一种简单而有效的方法，可以加速 BERT 的推理并降低推理时间。实验结果显示 DeeBERT 能够在保持模型质量的情况下，最多节省约 40％的推理时间，这为高效地应用基于 transformer-based 的深度模型提供
PDF4 years ago
探索卷积神经网络压缩中特征图子空间的线性关系
本研究提出一个基于子空间聚类的卷积神经网络剪枝方法，通过寻找不同特征子空间中的线性关系来消除卷积滤波器中的冗余信息，从而对卷积神经网络实现压缩和加速的目的。经过实验验证，该方法在绝大部分现有方法之前，在微调后实现了最先进的结果。
PDF6 years ago