BriefGPT.xyz
大模型
Ask
alpha
关键词
quantizing
搜索结果 - 5
高级异常管理和低延迟闪存器件的高效旋转和置换
本研究提出了一种创新的量化策略 ——DuQuant，采用旋转和置换变换更有效地消除异常激活，并在多个任务中表现出卓越的异常值管理能力，即使在 4 位权重 - 激活量化下也能取得顶级结果。
PDF
a month ago
高效内存网络训练的 4 位洗发水
提出了首个 4 位二阶优化器，示例为 4 位 Shampoo，其性能与 32 位相似；通过量化预处理器的特征向量矩阵，改善近似性和计算的效果，同时实现更高的存储效率。
PDF
a month ago
使用四位整数训练变压器
本文提出了一种使用 INT4 算法进行 transformer 训练的方法，以实现低精度的前向和后向传播，并通过 Hadamard 量化器和位分裂等技术处理异常值和稀疏梯度，从而实现在当前型号 GPU 上完成快速的模型训练。
PDF
a year ago
AutoQNN: 一种自动量化神经网络的端到端框架
本文提出一种名为 AutoQNN 的端到端框架，通过引入量化方案搜索（QSS）、量化精度学习（QPL）和量化架构生成（QAG）三种技术，自动实现对不同深度神经网络（DNN）模型的不同层进行不同方案和不同精度的量化，无需人工干预，实现对深度神
→
PDF
a year ago
CVPR
可学习的压缩量化技术用于精确低比特神经网络
本文提出了一种可学习的压缩量化方法 (LCQ), 该方法能够灵活地通过优化模型权重和可学习的压缩函数来控制权重和激活的压缩级别，从而优于传统的最先进方法，并缩小量化模型与全精度模型之间的差距。
PDF
3 years ago
Prev
Next