compression techniques | BriefGPT

关键词compression techniques

搜索结果 - 36

压缩基于 Transformer 的自监督模型用于语音处理
本文旨在探讨通过多种压缩技术（如剪枝和知识蒸馏）来减小基于 Transformer 的自监督模型的计算复杂度，以适应不同设备的应用场景，并通过比较参数数量、操作数和时间等指标，综合分析这些技术的优劣。
PDF2 years ago
EMNLP压缩多语言模型的有趣属性
本文研究了在多语种预训练语言模型中采用压缩技术的影响，在 40 种语言的 mBERT 命名实体识别模型上，发现压缩技术会提高模型的鲁棒性和低资源语言的性能。
PDF2 years ago
使用文本分割和隐马尔可夫模型在压缩域中直接对 TIFF 压缩文档图像进行 OCR
本研究提出了一种基于 CCITT 压缩机器打印的 TIFF 文档图像的 OCR 方法，通过分割文本区域、CCITT 三种编码模式的 HMM 识别文本，实验结果表明，pass 模式的 OCR 效果有很大的提升。
PDF2 years ago
使用速率失真理论在联邦学习中优化通信 - 准确性权衡
研究了联邦学习中模型更新的统计学特性及各种压缩技术的作用和优劣，提出了基于失真作为可靠的模型精度代理的降低通信成本的新方法，并在 Stack Overflow 下一个真实具有挑战性的 FL 基准测试中实现了接近最优的通信成本降低，在多个数据
PDF2 years ago
EMNLP低资源双重限制：一项关于剪枝用于低资源机器翻译的实证研究
本研究探讨了在数据受限制的情况下使用压缩技术的影响，以及使用 magnitude pruning 的机器翻译任务中，在低资源情况下尽量保留性能的方法（使用稀疏性来避免 Memorization of low frequency attrib
PDF3 years ago
CVPRiVPF：数值可逆守恒体积流用于高效无损压缩
本文研究体积保持流用于无损压缩，并提出了数值可逆体积保持流 (iVPF)。实验结果表明，基于 iVPF 的算法在轻量级压缩算法中达到了业内领先的压缩比
PDF3 years ago
分布式和联邦学习的最优梯度压缩
通过使用压缩技术来减少通信成本，我们研究了在压缩向量所需的比特数和压缩误差之间的基本权衡，为最坏情况和平均情况提供了紧密的下界。我们引入了一种高效的压缩算子和一种简单的压缩算子，它们都能达到最低下界，并在实验中取得了很好的效果。
PDF4 years ago
深度神经网络压缩调研：挑战，概述和解决方案
该论文综述深度神经网络在物联网应用中的压缩技术，并将现有方法划分为五个类别，包括网络修剪、稀疏表现、位精度、知识蒸馏和杂项，并探讨每个类别的挑战和未来方向。
PDF4 years ago
ECCVGAN 瘦身：通过统一的优化框架实现全能的 GAN 压缩
该研究提出了一个名为 GAN Slimming 的统一优化框架，将多种压缩方法与 GAN 最小二乘目标组合在一起，相比现有选项在压缩图像转换 GAN 方面表现优异，其中包括模型蒸馏，通道修剪和量化等几种主流压缩技术。
PDF4 years ago
ICML训练大模型，压缩小模型：重新思考 Transformers 的高效训练与推断模型大小
研究表明，即使较小的 Transformer 模型在每次迭代中执行更快，较宽且较深的模型在明显更少的步骤中收敛。此外，大型模型比小型模型更 robust，因此，高度压缩的大型模型实现比轻度压缩的小型模型更高的准确性
PDF4 years ago
一种新兴的编码范式 VCM: 一种超越特征和信号的可扩展编码方法
本文旨在研究视频编码方法中出现的新问题 VCM，提出基于预测模型和生成模型的高级压缩技术，同时可用于人类视觉和机器视觉，以实现可扩展的信号表示。通过条件生成网络学习稀疏运动模式来重建视频帧，同时对高水平视觉任务如动作识别非常有效。实验表明，
PDF4 years ago
使用 Kronecker 乘积将 RNN 压缩 15-38 倍，用于 IoT 设备
本文介绍了一种使用 Kronecker 乘积（KP）的方法来压缩适用于资源受限环境中的循环神经网络（RNN），KP 可以使 RNN 层的压缩率达到 15-38x，并且通过将其量化为 8 位可以进一步提高压缩因子至 50 倍，同时提高推断运行
PDF5 years ago
基于压缩的循环神经网络用于高效语言建模
本文考虑了针对循环神经网络的多种压缩技术，特别关注大词汇量带来的高维输出问题，探讨剪枝、量化和矩阵分解在语言模型中的有效压缩方法，以及大小、适用性和困惑度的取舍，最终提出一种压缩循环神经网络的通用流程，并使用 Penn Treebank 数
PDF5 years ago
深度神经网络的熵受限训练
该研究提出了一种神经网络压缩的通用框架，通过最小描述长度原则和熵来量化其复杂度并使用基于梯度的优化技术实现了优秀的压缩结果。
PDF6 years ago
使用注意力统计方法剪枝通道的深度神经网络压缩技术 PCAS
本研究提出了一种基于注意统计的简单通道剪枝技术，使用单个压缩比替代每层模型的分析，实现了自动通道选择，取得了超越常规方法的性能提升，训练不同模型和数据集的结果表明该方法减少了计算成本且更加准确。
PDF6 years ago
语言建模的神经网络压缩
本文研究了针对基于循环神经网络的语言建模问题的几种压缩技术。通过使用 Penn Treebank（PTB）数据集，我们比较了 LSTM 网络的剪枝、量化、低秩分解、张量列车分解对模型大小和适用于快速推理的适合性，并发现传统的 LSTM 网络
PDF7 years ago