quantization errors | BriefGPT

关键词quantization errors

搜索结果 - 10

BiSup：大型语言模型的双向量化误差抑制
通过构建适当的优化参数空间，BiSup 利用少量的数据进行量化感知参数优化，从而抑制错误的垂直积累，并采用高精度的提示混合精度量化策略以减轻错误的水平扩散。
PDFa month ago
基于基础扩散模型的有损图像压缩
利用扩散模型在图像压缩领域具有潜力，能够在极低码率下产生逼真且详细的重建结果。本研究提出了一种将扩散用于去除量化误差，以恢复传输图像潜在信息的去噪方法，相较于之前的方法，我们的方案只需要进行不到 10% 的扩散生成过程，并且无需对扩散模型进
PDF3 months ago
ICLRAffineQuant：大型语言模型的仿射变换量化
基于等效仿射变换的后训练量化方法 (AffineQuant) 扩展了优化范围，显著减少了量化误差，在大规模语言模型上达到了显著的性能提升，并在 PTQ 领域树立了新的技术标杆。
PDF3 months ago
硬件受损通信系统的去噪扩散概率模型：朝着无线生成 AI
本文提出了基于去噪扩散概率模型的无线通信方案，旨在解决实际应用中的硬件损伤、信道失真和量化误差等非理想因素，提供低信噪比下的网络韧性、对不同硬件损伤水平和量化误差的近不变重建性能，以及抵抗非高斯噪声的强大分布外表现，并通过余弦相似度和均方误
PDF8 months ago
MM人体姿态估计轻量级超分辨率头
基于热图的方法已经成为姿势估计的主流方法，但由于通过降低重要热图的大小而带来量化误差的原因，这些方法受到了一定的限制，而且中间监督也起到了有害效果。为了解决以上问题，该论文提出了 SRPose 方法，通过将骨干网络视为降级过程并重新构建热图
PDFa year ago
MultiQuant：一种新的任意比特宽度网络量化的多分支拓扑方法
本文提出了一种名为 MultiQuant 的新型量化方法，它利用多支路拓扑结构将网络体重量化为固定的 2 位，从而避免了位宽切换造成的量化误差积累，并引入一种分摊指定激活位宽切换引起的量化误差的分支选择策略和一种提高性能的内部蒸馏策略。实验
PDFa year ago
CVPR稀疏卷积网络的二值化在点云分析中的高效应用
本文提出了一种基于二元稀疏卷积神经网络的点云分析方法，利用转移卷积并搜索一组最优操作次数以匹配预定义位置，从而缓解量化误差并实现网络二元化，取得了显著的性能提升。
PDFa year ago
MM探索基于 DCT 表示的语义分割
本文提出了一种在离散余弦变换（DCT）表示上执行语义分割的方法，通过重新排列 DCT 系数以形成首选输入类型，并针对 DCT 输入量调整现有网络来实现。该方法的准确性接近于 RGB 模型，在网络复杂性相当的情况下，适当选择 DCT 分量可以
PDF5 years ago
回归简单：如何从头训练准确的二值神经网络？
本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。
PDF5 years ago
鲁棒反量化压缩感知
本文旨在研究数据压缩中由于舍入和饱和误差而引起的重构问题，提出了考虑量化和饱和误差的约束条件和加权 l2——l1 范数优化目标函数，采用增广 Lagrange 方法求解得到一个稳健的一致性解。同时，文章还对之前的相关建模方案进行了广泛的计算
PDF12 years ago