BriefGPT.xyz
大模型
Ask
alpha
关键词
model quantization
搜索结果 - 24
AAAI
FracBits: 通过小数位宽度实现混合精度量化
提出一种新的基于学习的算法，用于在目标计算约束和模型大小下端到端地推导混合精度模型。该方法能够通过逐渐调整模型中每个层 / 核心的位宽，实现两个连续位宽的分数状态来满足资源约束，使量化的使模型经过量化感知训练，能够最终获得优化的混合精度模型
→
PDF
4 years ago
GOBO: 基于量化的注意力自然语言处理模型，实现低延迟和高能效推断
GOBO 是一种模型量化技术，将当前 BERT 模型的大部分参数从 32 位浮点数压缩到 3 位，无需调整或重新训练即可同时保持其准确性，在硬件上可用于内存压缩和流量减少.
PDF
4 years ago
ICLR
面向有限资源的深度学习数据和计算高效设计
本文介绍了在医学领域中，利用等变神经网络所开发的移动设备，用于构建更准确、更健壮的模型，但因等变模型的大型高运算架构不适合于移动设备上运行，因此我们设计和测试了 MobileNetV2 的等变版本，并进一步优化模型量化，以实现更高效的推理，
→
PDF
4 years ago
CVPR
HAQ: 硬件感知自动混合精度量化
本文介绍了一种基于深度强化学习的硬件感知自适应量化方法，将硬件加速器的反馈置于设计循环中以自动确定量化策略，该方法可以为不同的神经网络架构和硬件架构专门量身定制量化策略。与传统方法相比，该方法可以将延迟降低 1.4-1.95 倍，能量消耗降
→
PDF
6 years ago
Prev
Next