compression technique | BriefGPT

关键词compression technique

搜索结果 - 9

LLM-QBench: 大型语言模型后训练量化最佳实践基准测试
探索量化大型语言模型的最佳实践，平衡性能与计算效率。通过基准测试和实验，提出了与标定数据、量化算法和量化方案相对应的三个关键点，并构建了最佳的 LLM PTQ 流水线。
PDF2 months ago
在神经压缩文本上训练 LLMs
本文探讨了在高度压缩的文本上训练大型语言模型（LLMs）的想法。通过提出等信息窗口这一新的压缩技术，我们展示了在神经压缩文本上有效学习的方法，该方法在规模上得到了改进，并在复杂度和推理速度基准测试中大大优于字节级基准。
PDF3 months ago
SubGen: 子线时间和内存中的令牌生成
本研究提出一种用于大型语言模型的有效压缩技术，通过在关键标记上进行在线聚类和在值上进行在线 l2 采样，实现了亚线性内存占用和亚线性时间复杂度，从而显著提高了性能和效率。
PDF5 months ago
相关量化用于更快的非凸分布式优化
利用相关量化器，我们分析并改进了 MARINA 优化算法，提高了通信复杂度，并且通过实验证实了我们的理论发现。
PDF6 months ago
量化生成模型的 Softmax 偏差校正
研究通过离线偏差校正技术改善了量化后的 softmax，在资源受限的边缘设备上推理能力得到了显著的准确性提升。
PDF10 months ago
协作智能的神经网络特征张量轻量化压缩
本研究介绍了一种轻量级的压缩技术，用于在边缘设备上进行代码的分割，仅针对深度神经网络中的激活，而且不需要任何重新训练。当应用于流行的对象检测和分类深度神经网络时，能够将 32 位浮点激活压缩到 0.6 至 0.8 位，同时保持精度损失不到
PDF3 years ago
EMNLP自然语言处理应用的排名和运行时感知压缩
本文提出一种称为混合矩阵分解 (Hybrid Matrix Factorization) 的压缩技术，将低秩矩阵分解技术（LMF）的矩阵秩翻倍，采用智能混合结构，提高了准确性，并且在保持密集矩阵的同时，速度优于剪枝或结构矩阵压缩技术。在 5
PDF4 years ago
ICLR深度推荐系统的优化：基于布隆嵌入的稀疏二元输入 / 输出网络
提出了一种能够在使用深度学习从推荐领域提取数据时对输入和输出进行压缩的方法 Bloom embeddings，并在对七个数据集的测试表明此方法能够提供计算效率和比原始方法更高的准确性。
PDF7 years ago
通过剪枝压缩神经机器翻译模型
本文探讨了三种基于大小的剪枝模式对 NMT 模型进行压缩，通过实验证明了剪枝技术是一种有效的压缩技术，并且可以通过再训练来恢复或甚至超越原始性能。
PDF8 years ago