low-rank decomposition | BriefGPT

关键词low-rank decomposition

搜索结果 - 12

基于选取：预训练大型语言模型的低秩分解与目标应用
通过低秩分解方法，我们可以削减大型语言模型的冗余组件，压缩模型大小并保持与最先进压缩技术相当的准确性。
PDFa month ago
语言模型中低秩分解的精度 - 效率权衡特征化
大规模语言模型的压缩方法如量化和参数修剪在减小模型的内存占用和流量上进行了积极探索，本研究通过对低秩分解方法，特别是 Tucker 分解，在近期语言模型上的研究，包括一个开源的语言模型 Llama 2，详细分析和评估了准确性和效率之间的平衡
PDF2 months ago
正弦激活低秩矩阵用于参数高效学习
该研究提出了一个新的理论框架，将正弦函数整合到低秩分解过程中，以提高模型准确性和参数效率。该方法在 Vision Transformers（ViT）、大型语言模型（LLMs）、神经辐射场（NeRF）和 3D 形状建模中应用成功，展示了其广泛
PDF3 months ago
能源高效智能雷达的传感器内射频计算
利用低秩分解将大规模射频神经网络转化为紧凑的射频神经网络，并通过在射频神经网络上构建鲁棒求解器以增强其稳健性，进一步提供了可重构改形解决方案，经实证评估验证了该方法的有效性。
PDF7 months ago
重新思考压缩：大型语言模型中潜在特征的简化建模
通过降阶建模和重参数化，本文提出了一种创新的大规模语言模型压缩方法，可在对内存和时间有严格限制的条件下，以逐层方式对十亿级模型进行压缩，与当前流行的结构化修剪方法相比，展现出卓越的效果。
PDF7 months ago
一种用于端到端学习混合结构压缩的可微分框架
本研究展示了一种可表达滤波器选择、秩选择和预算约束的可微分框架（DF），其中利用 DML-S 进行滤波器选择，将调度集成到现有的掩模学习技术中，并利用 DTL-S 进行秩选择。该框架及其组件通过基于梯度的优化实现端到端学习，实验结果显示 D
PDF9 months ago
高效学习 Green 函数的低秩逼近方法
使用深度学习模型学习格林函数能够解决不同类别的偏微分方程，通过低秩分解来学习格林函数以减少重复的计算并提高计算时间。
PDFa year ago
MM计算多项式环的线性部分：量子纠缠，张量分解和更多
本研究讨论了如何在任意锥形多项式曲线和给定线性子空间的交集中找到元素。我们提出了一种基于多项式时间的算法来解决这个问题，并将其应用于解决低秩分解问题和量子纠缠问题等相关问题。
PDF2 years ago
神经网络压缩：寻求最佳分层分解方法
本文提出了一种新颖的全局压缩深度神经网络框架，通过使用低秩分解的方法在达到所需的整体压缩率的同时，对每层进行全面分析确定最佳的每层压缩比率，并利用等奇特展开定理和最优化算法来得到我们的解决方案。我们的实验表明，我们的方法在各种网络和数据集上
PDF3 years ago
CVPR组稀疏性：过滤器剪枝和分解网络压缩之间的枢纽
该论文分析了两种流行的网络压缩技术，在统一的框架下比较了滤波剪枝和低秩分解，同时提出了一种全局的压缩方法并在多个基准测试中表现优异。
PDF4 years ago
基于学习的低秩逼近
本文介绍了一种基于学习的算法来解决低秩分解问题，并且通过学习用稀疏矩阵来代替随机矩阵可以减小近似误差。同时，给出了针对稀疏矩阵学习问题的泛化界及近似算法。
PDF5 years ago
CVPR高速卷积神经网络的自动排名选择
本文提出了一种通过组合优化实现网络复杂度最小化以及保持精度不变的方案，利用线性近似的精度函数预测了优化后 CNN 模型的精度，并在 AlexNet 和 VGG-16 上的实验结果表明，与截断 SVD 算法相结合，我们提出的排名选择算法在推理
PDF6 years ago