quantisation | BriefGPT - AI 论文速递

关键词quantisation

搜索结果 - 9

神经网络训练中异常特征的理解和最小化
深入研究在神经网络训练中为什么会出现异常特征（Outlier Features），如何最小化它们的影响，并提出了预防措施，包括量化指标、架构选择、信号传播控制等。
PDFa month ago
EMNLP再探基于块的量化：子 8 位低精度设备基于块的推理中的重要因素
通过使用块量化技术，本研究实现了基于大型语言模型（LLMs）的几乎无损 6 位量化，与浮点数基准相比算术密度增加了 19 倍，内存密度增加了 5 倍，超过了之前 8 位量化的先前技术。同时，介绍了子 8 位 LLM 量化的关键见解，包括激活
PDF9 months ago
EDAC：高效部署用于 COVID-19 检测的音频分类模型
通过网络修剪和量化的方法，我们成功地压缩了两个用于检测 COVID-19 的模型，同时不降低模型的预测性能，并实现了模型文件大小的大幅减小以及相应推理时间的缩短。
PDF10 months ago
固定权重网络
本文提出一种名为 “Weight Fixing Networks” 的新方法，通过结合多种技巧，如无损全网络量化、聚类代价等，旨在实现压缩深度学习模型中唯一参数数量的最小化，实验证明该方法优于现有压缩方法。
PDF2 years ago
可验证和高能效的医学图像分析：基于量化自注意力深度神经网络
通过使用基于自注意力的量化独立模型代替传统的卷积神经网络，我们在分类和分割任务上实验验证了其性能，发现在 CPU 预测时，模型大小可减少 50-80％，参数数量可减少 60-80％，FLOPs 数可减少 40-85％，能源效率可提高 65-
PDF2 years ago
学习低精度图神经网络
本研究使用 Low Precision Graph NAS (LPGNAS) 方法进行 Deep Graph Neural Networks 的定点化，并通过 8 个不同的数据集分类实现了模型和缓冲区大小的显著降低，同时保持了精度。
PDF4 years ago
ICCV实时能耗优化的孪生神经网络目标跟踪优化
本文介绍了使用 Siamese 神经网络对嵌入式视觉系统中的视觉目标跟踪进行优化的研究。通过量化优化技术可以使得神经网络的内存和计算复杂度显著降低，并且仍能实现精准跟踪，从而使其能够应用于嵌入式视觉系统中。
PDF4 years ago
KDD有界信息速率变分自编码器
该论文介绍了一种新型的变分自编码器（VAEs）——Bounded-Information-Rate Variational Autoencoder（BIR-VAE），通过限制潜层传输的信息速率，将互信息和似然概率结合，提供了一种可以被系统设
PDF6 years ago
MMCascadeCNN：将量化在卷积神经网络中的性能极限推至极致
CascadeCNN 是一个自动化工具流程，用于推动任何给定的 CNN 模型的量化极限，旨在进行高吞吐率推理。通过在级联中使用低 - 高精度单元以及置信度评估单元，实现对任何给定的 CNN-FPGA 配对的定制。实验证明，所提出的工具流程在
PDF6 years ago