BriefGPT.xyz
大模型
Ask
alpha
关键词
activation distribution
搜索结果 - 4
QuEST: 低比特扩散模型量化的高效选择性微调
通过优化活化分布和关键量化层,本文解决了低位量化对扩散模型性能的影响,并在各种位宽设置下实现了最先进的高分辨率图像生成。
PDF
5 months ago
CVPR
NoisyQuant:针对视觉 Transformer 的噪声偏置增强后训练激活量化
NoisyQuant 是一种用于视觉变换器 post-training activation 量化性能增强的量化器不可知增强方法。它的理论是,在给定量化器的情况下,添加一个固定的均匀噪声偏差可以在可证明的条件下显着降低量化误差。基于这个理论
→
PDF
2 years ago
CVPR
利用不平衡激活分布提高二值神经网络的准确性
本文提出二值化神经网络模型的精度问题,并指出通过不平衡激活分布以及调整二值激活函数的阈值,可以在不改变其他结构的情况下提高二值神经网络模型的精度。
PDF
4 years ago
ECCV
ReActNet: 基于广义激活函数实现精准二值神经网络
本文提出了一种改进二进制网络的方法,包括通过 RSign 和 RPReLU 实现激活分布变化的显式学习,以及采用分布损失进一步加强二进制网络的训练,通过这些方法,在不增加计算成本的情况下,将二进制网络精度提高到了比现有二进制网络更高的水平,
→
PDF
4 years ago
Prev
Next