quantization | BriefGPT - AI 论文速递

关键词quantization

搜索结果 - 437

联邦学习中量化的效果：一种以 Rényi 差分隐私为视角的研究
通过分析量化对联邦学习系统中的隐私保护的影响，本研究论文得出了量化位级越低，隐私保护越好的结论，并通过隶属推理攻击验证了这一理论分析，证实了量化确实可以增强隐私保护。
PDFa day ago
允许或禁止在量化网络之间转移对抗攻击的特性
深度神经网络在量化时不同位数的源网络与目标网络存在转移性，某些攻击类型能增强转移性，通过对网络的量化版本之间的攻击实例的平均转移性可以估计对不同容量和结构的量化目标网络的转移性。
PDF2 days ago
结合多种后训练技术实现最高效的量化 LLMs
通过 quantization 技术，结合 SmoothQuant 和 GPTQ 两种 post-training 技术，将模型量化为 MX 格式，能够显著减小优化型模型大小至多 4 倍，提高 LLaMA 模型大小至多 3 倍，同时仅仅增加
PDF5 days ago
SKVQ：用于大语言模型的滑动窗口键值缓存量化
在这篇论文中，我们提出了一种称为 SKVQ 的策略，它通过滑动窗口的键值缓存量化来解决大型语言模型中低比特宽度的键值缓存量化问题，并实现高压缩比和高准确性。
PDF7 days ago
LLM-QBench: 大型语言模型后训练量化最佳实践基准测试
探索量化大型语言模型的最佳实践，平衡性能与计算效率。通过基准测试和实验，提出了与标定数据、量化算法和量化方案相对应的三个关键点，并构建了最佳的 LLM PTQ 流水线。
PDF8 days ago
ICMLDitto: 基于 MPC 的量化感知 Transformer 安全推理
通过引入 MPC-friendly 的量化技术以及 MPC primitives，Ditto 实现了更高效的量化 - aware 安全 Transformer 推断，显著降低了计算和通信开销，与现有研究相比速度提高了 3.14~4.40 倍
PDF8 days ago
QServe: W4A8KV4 量化和系统协同设计用于高效 LLM 服务
量化技术在提速大规模语言模型推理方面发挥作用，但现有的 INT4 量化方法在大批量云端应用中存在效率问题。本研究提出了一种名为 QoQ 的算法，该算法通过使用 4 位权重、8 位激活和 4 位 KV 缓存来解决该挑战，并通过 QServe
PDF10 days ago
Trio-ViT：面向无 softmax 的高效视觉 Transformer 的后训练量化与加速
通过量化和加速高效 ViTs 的方法，提出了 Trio-ViT 框架，该框架在可比准确度下获得了可观的 FPS 和 DSP 效率提升，解决了 Vision Transformers 在嵌入式设备上部署困难的问题。
PDF11 days ago
量化 LLM 在规模和精度方面的能力
通过对模型规模和量化的综合评估，发现在各种任务中，规模较大的模型通常优于规模较小的模型，同时大规模模型对于精度降低有很好的韧性，可在较小的内存要求下保持高准确性，因此它们比使用更小的模型更好。
PDF11 days ago
Torch2Chip: 用于原型硬件加速器设计的端到端可定制的深度神经网络压缩和部署工具包
通过自定义的模型压缩算法实现量化，从而加速在低功耗硬件上进行昂贵的深度神经网络计算的开源工具 Torch2Chip。
PDF15 days ago
语音识别中的深度学习模型：GPU 能耗测量，噪声影响和边缘部署模型量化
本研究通过分析采用 FP32、FP16 和 INT8 量化技术在清洁和噪声数据集上的 ASR 模型的字错率和转录速度，揭示了准确性、速度、量化、能效与内存需求之间的重要权衡关系。结果发现，将精度从 fp32 改变为 fp16 可以使不同模型
PDF15 days ago
ACL大型语言模型的量化对置信度的影响
近期的研究引入了通过事后训练量化或低位权重表示来进行大语言模型（LLMs）有效压缩的技术。尽管量化权重提供了存储效率和更快推理的优势，但现有研究指出，量化可能损害性能并加剧 LLMs 中的偏见。本研究通过考虑语言模型类型和规模等因素，调查了
PDF16 days ago
基于梯度的神经网络芯片上每权重混合精度量化
通过高精度量化训练方法，减少模型大小和推理速度，提高 FPGA 部署的低延迟和低功耗神经网络的资源利用率，同时保持准确性。
PDF16 days ago
decoupleQ：通过将参数拆分为整数和浮点数实现 2-bit 后训练统一量化
通过解耦 Q，我们提出了一种量化方法，将模型参数分解为整数部分和浮点部分，使得量化问题转化为约束条件下的数学优化问题，并通过现成的优化方法解决。该方法在线上实现了接近 fp16/bf16 准确度的 2 位量化大型语音模型，在硬件上更友好且能
PDFa month ago
QGen：关于量化感知训练的泛化能力
使用更少的位数表示模型权重和激活，量化降低了内存使用、计算需求和延迟。我们研究了量化神经网络的泛化性质，首先通过理论模型表明了量化作为一种正则化的功能，其次通过与损失函数曲线陡峭度与泛化的相关性的研究，提出了一个近似限制量化模型泛化性的方法
PDFa month ago
视觉 Transformer 模型压缩与加速综述
本研究通过评估四种主要的模型压缩技术：量化、低秩近似、知识蒸馏和剪枝，解决了视觉 Transformer 在计算和内存需求方面的问题，并全面实验评估了这些技术及其组合在资源受限环境中优化 ViTs 的功效，证明了这些方法在模型精度和计算效率
PDFa month ago
TMPQ-DM: 高效扩散模型的时间步减少和量化精度选择
TMPQ-DM 通过联合优化时间步长减少和量化以达到更高的性能和效率平衡，其中包括针对非均匀组合和精细层次分配位宽的设计组件，通过梯度 - free 进化搜索算法快速探索决策空间。
PDFa month ago
BinaryDM: 混合扩散模型的准确二值化
本研究提出了 BinaryDM，一种新颖的准确的量化感知训练方法，以将扩散模型的权重推向 1 位极限。使用 Learnable Multi-basis Binarizer (LMB) 来恢复二元化扩散模型生成的表示，并使用 Low-rank
PDFa month ago
ICLR研究量化对对抗性鲁棒性的影响
在这篇论文中，我们首次对 Post-Training Quantization 和 Quantization-Aware Training 的设置下，能够将鲁棒性优化纳入其中的量化流水线组件的影响进行了深入研究分析。通过我们的详细分析，我们
PDFa month ago
大卫与歌利亚：QNNs 在深度边缘的攻击和防御的实证评估
边缘计算和微控制器 (MCUs) 上的量化和对抗示例在深度边缘上的有效性进行了实证评估。量化增加了决策边界的点距离，并导致某些攻击估计的梯度爆炸或消失，同时量化能够增强或减弱噪声，导致梯度失调。尽管输入预处理防御在小扰动上效果显著，但在扰动
PDFa month ago