compressibility | BriefGPT - AI 论文速递

关键词compressibility

搜索结果 - 8

ICML神经网络的切片互信息广义界限
通过切片参数空间，我们针对机器学习算法提出新的信息理论泛化界限，证明切片可以提高泛化，并通过压缩模型的失真来收紧泛化界限，从而实现对神经网络的信息理论泛化界限的计算。
PDFa month ago
关于预训练机器学习模型存储可压缩性的一切，你想知道的都在这里
论文通过对预训练模型数据集进行详尽分析，揭示了现代数据压缩工具对预训练模型数据集不够有效的问题，并提出了一种简单而有效的浮点数压缩方法及与其他数据减少方法相结合的压缩框架。
PDF4 months ago
MPTQ-ViT：VisionTransformer 的混合精度后训练量化
提出了 SmoothQuant with bias term (SQ-b) 和 optimal scaling factor ratio search (OPT-m) 方法以及一种多精度后训练量化框架 (MPTQ-ViT)，在 ImageN
PDF5 months ago
概率性权重修正：用于量化的神经网络权重不确定性的大规模训练
该论文提出了一种基于贝叶斯神经网络（BNNs）和变分松弛的概率性框架，用于确定可以将哪些权重转移到哪个聚类中心以及在多大程度上，以提高权重共享量化方法的压缩性能和准确性。
PDF9 months ago
重尾 SGD 训练的超参数神经网络的隐式可压缩性
本研究提出了一种基于随机梯度下降和添加重尾噪声的简单修改方法，使算法输出可压缩。研究表明通过增加隐藏层减小过拟合，该方法在训练和测试误差上拥有更高的压缩性。
PDFa year ago
枚举压缩与收益
研究枚举的可压缩性及其在可计算可枚举集合相对 Kolmogorov 复杂度方面的作用，并针对压缩的强和弱形式研究其增益，证明了任何可计算可枚举集合都具有强压缩和无增益弱压缩，并研究一种位置游戏以深入理解强无增益压缩。
PDFa year ago
ICLR基于稀疏性视角的深度神经网络剪枝
本文提出了 PQ Index (PQI) 作为衡量深度神经网络可压缩性的量化指标，并基于此开发了一种基于稀疏性信息的自适应裁剪算法 (SAP)，该算法在压缩效率和稳健性方面优于遗传算法等迭代型裁剪算法。
PDFa year ago
随机梯度下降中的重尾以及过度参数化神经网络的可压缩性
本研究揭示了训练算法的动态特性在实现神经网络压缩方案上起着关键作用，通过将压缩性与随机梯度下降的近期性质联系起来，本文证明了当神经网络遵循一定条件时，网络参数具有稀疏性，并且压缩误差可以任意减小，同时可证明良好的压缩性可降低泛化误差，该理论
PDF3 years ago