compress | BriefGPT - AI 论文速递

关键词compress

搜索结果 - 8

压缩与对齐：用人类知识筛选图像文本数据
该研究通过采用人工智能算法对图像文本数据进行高质量压缩，并利用训练出的奖励模型作为人类般的裁判来过滤不对齐 / 低质量的图像文本对。
PDF7 months ago
通过稀疏率减少实现的白盒变压器：压缩无外乎此
我们认为表示学习的自然目标是将数据的分布压缩和转换为支持在不相关子空间上的低维高斯混合模型。我们通过基于名为稀疏率减少的原则性度量评估这种表示的好坏，该度量同时最大化所学表示的内在信息增益和外在稀疏性。从这个角度来看，包括变压器在内的流行深
PDF7 months ago
自然语言处理的部分张量化变压器
本研究利用张量列分解技术对 Transformer 视觉语言神经网络（BERT 和 ViT）进行压缩，从嵌入层压缩和神经网络的部分张量化两方面进行，提高了现有模型的准确性，无需后训练调整。
PDF8 months ago
无需重新训练的预训练语言模型知识保留剪枝
提出了一种名为 K-pruning (Knowledge-preserving pruning) 的准确的无需重新训练的结构化修剪算法，用于预训练的语言模型压缩，并在 SQuAD 基准测试中展示了比现有的无需重新训练的修剪算法高达 58.0
PDFa year ago
面向分布的信息保留的精确二值神经网络
本文介绍了一种名为 DIR-Net 的神经网络二值化方法，通过改进内部传播和引入外部表示来保留神经网络信息；采用信息最大化二值化（IMB）、分布敏感二段估计器（DTE）和表示对齐二值化感知蒸馏（RBD）等三项技术，该方法在 ResNet、V
PDF3 years ago
探索卷积神经网络压缩中特征图子空间的线性关系
本研究提出一个基于子空间聚类的卷积神经网络剪枝方法，通过寻找不同特征子空间中的线性关系来消除卷积滤波器中的冗余信息，从而对卷积神经网络实现压缩和加速的目的。经过实验验证，该方法在绝大部分现有方法之前，在微调后实现了最先进的结果。
PDF6 years ago
NIPS深度学习模型的描述长度
通过实验证明，即使考虑到参数编码，深度神经网络仍能够压缩训练数据，而这种压缩视角最初激励了神经网络中变分方法的使用。我们发现，这些变分方法提供了惊人的较差压缩界限，这可能解释了变分方法在深度学习中相对较差的实际性能。另一方面，简单的增量编码
PDF6 years ago
二元神经网络的高维几何
通过高维几何理论解释二元神经网络之工作机制，为压缩神经网络提供更深入的理解并为其他神经网络架构如循环神经网络的泛化提供基础。
PDF7 years ago