compression framework | BriefGPT

关键词compression framework

搜索结果 - 5

扩散模型中的精细颜色引导及其在极低比特率图像压缩中的应用
该研究提出了一个在不使用训练或调整技术的情况下，控制扩散模型生成图像中全局颜色方面的挑战。通过修改指导方程，确保输出更接近已知的颜色映射，同时不影响生成图像的质量。该方法得到了新的指导方程。研究表明，在颜色指导上，指导的缩放不应该随着扩散过
PDF3 months ago
GEAR: 基于高效 KV 缓存压缩的近无损低长度模型生成推断算法
提出了 GEAR，一种高效的 KV 缓存压缩框架，实现了几乎无损的高压缩比。相比其他方法，GEAR 在减少峰值内存大小的同时，实现了高达 2.38 倍的吞吐量提升。
PDF4 months ago
一种用于 Vision Transformer 的快速无需训练的压缩框架
提出优化 Transformer 模型 (ViT) 部署过程中训练代价高的问题的快速无需训练压缩框架，其中包括初层的稠密特征提取器、压缩率更高的模型和利用空间关系的局部 - 全局令牌合并方法，在多个模型上实现了至多 2 倍的 FLOPS 减
PDFa year ago
使用低比特 NxM 稀疏压缩预训练 Transformers 以增强自然语言理解
本文提出了新的框架 NxMiFormer，同时使用 ADMM 和 STE-based QAT 进行稀疏化和量化，通过搜索算法找到最优的异构压缩配置，使预处理 Transformer 网络在 NLU 测试中达到 93% 的压缩率并保持 98%
PDF2 years ago
ICML可微分乘积量化用于端到端嵌入压缩
本文提出了可最小化储存空间的不同产品量化的压缩框架（DPQ），可以作为任何现有嵌入层的替代品，且降低了 14-238 倍的压缩率，以及在三个不同语言任务的 10 个数据集上表现良好。
PDF5 years ago