memory savings | BriefGPT - AI 论文速递

关键词memory savings

搜索结果 - 9

HLQ: 基于 Hadamard 低秩量化的快速高效反向传播
通过引入一种名为 Hadamard Low-rank Quantization (HLQ) 的优化策略，该研究主要关注在降低卷积和线性层的反向传播成本，在从头训练和微调过程中实现显著的内存节省和加速，并且获得了卓越的性能表现。
PDF13 days ago
D2O: 大规模语言模型高效生成推理的动态判别操作
通过 Dynamic Discriminative Operations (D2O) 方法，本研究提出了一种优化 KV 缓存大小的方法，实现了显著的存储节省和提高推理速度，并保持了高质量的长文本生成。
PDF16 days ago
少即通用：一种面向大型语言模型的通用且简单的非参数剪枝算法
基于核密度估计 (KDE) 的 KEN 是一种简单、通用且非结构化的修剪算法，旨在通过有选择性地保留最重要的参数并恢复其他参数到其预训练状态来构建优化的 Transformer 模型，这种方法在保持模型性能的同时只存储优化的子网络，从而实现
PDF5 months ago
基于误差上下文修剪的隐式神经表示元学习的高效实现
针对大规模隐式神经表示（INRs）的学习，我们提出了一种高效的优化元学习技术，通过在线选择上下文点，可以在任何已知场景中大幅减少元学习的内存需求，实现上下文剪枝以及信号适应。此项技术提出了三个具有技术性新颖性的方案：context prun
PDFa year ago
ECCV使用多任务高斯过程查找非均匀量化方案
本文提出了一种新的神经网络量化方法，将神经架构搜索问题视为超参数搜索来查找 CNN 各层的非均匀位分布，并通过多任务高斯过程先验来执行搜索。研究表明，通过在最后几层中采用显著较低的精度，可以实现最小的准确度损失并显著节省存储器。作者在使用
PDF4 years ago
在边缘设备上优化分组卷积
本文提出了一种名为 GSPC 的新型深度神经网络 grouped convolutions 的实现方式，在边缘设备上实现了最先进的性能，而且在多种不同类型的 grouped convolutions 中表现良好，平均提高了 TVM、PyTo
PDF4 years ago
CVPR使用可分离滤波器的二值卷积神经网络，以实现高效硬件加速
通过在卷积神经网络内使用奇异值分解（SVD）来减少计算和存储复杂性的 BCNNw / SF 被提出，并且实现了对 CIFAR-10 数据集的 FPGA 硬件加速器，BCNNw / SF 加速器相对于仅有 BCNN 可以节省 17％的内存，并
PDF7 years ago
MM深度声学模型的高效表示与执行
本文提出了一种简单而高效的量化方案，将神经网络的参数分辨率从 32 位浮点值减少到 8 位整数值，从而产生了显著的内存节省和可以使用优化后的硬件指令进行整数算术操作，从而显着降低了推理成本，并通过提出的 “量化感知” 训练过程进行网络训练，
PDF8 years ago
使用 LIMID 评估影响图
本文介绍了一种新的方法来解决以影响图形式表达的决策问题，将影响图转化为一个较简单的结构 LImited Memory Influence Diagram (LIMID)，从中寻找最优策略，相较于传统方法，该方法可以显著节省计算时间和存储空间
PDF11 years ago