flops reduction | BriefGPT - AI 论文速递

关键词flops reduction

搜索结果 - 21

图像在第二层之后价值为 1/2 令牌：大型视觉语言模型的即插即用推理加速
通过学习自适应注意力模式和精简视觉标记，FastV 可显著降低计算成本并在各种图像和视频理解任务中保持优秀性能，有助于在边缘设备和商业模型中部署大规模视觉 - 语言模型。
PDF4 months ago
ICLR控制方差的自适应采样高效反向传播
通过使用采样算法进行神经网络训练，我们引入了一种方差控制的自适应采样（VCAS）方法，该方法可以在数据和权重梯度计算过程中使用细粒度的分层重要性采样和杠杆得分采样，以加快训练过程并降低计算量。通过在多个任务中进行评估，我们发现 VCAS 可
PDF4 months ago
模态即插即用：多模态低水平语言模型中的弹性模态适应
通过将单模编码器与一组灵活的最后 LLM 块连接并使这些潜在连接在运行时完全可训练，mPnP-LLM 能够实现完全弹性、自动化和及时的运行时模态适应，同时在存在方案的情况下保持相当的准确性。
PDF7 months ago
高效神经网络的类别感知剪枝
深度神经网络（DNNs）在各个领域取得了显著的成功。然而，DNNs 中的大量浮点运算（FLOPs）对于在资源受限应用中部署它们提出了挑战。为了解决这个问题，引入了修剪技术来减少执行 DNNs 的计算成本。与以往的修剪方法不同，本文提出了一种
PDF7 months ago
通过熵最小化的强化学习修剪卷积滤波器
利用结构剪枝和信息论奖励机制，我们能够在保持准确性的同时降低神经网络架构的浮点运算数，并在减少 5-10 倍的 FLOPS 的同时最小化性能损失。
PDF7 months ago
FLORA：用于视觉 Transformer 的细粒度低秩架构搜索
通过引入基于 NAS 的自动化框架 FLORA，本论文提出了一种用于降低计算负载的低秩逼近方法，通过低秩感知的候选过滤策略和低秩特定训练方法，实现了更精细的低秩配置，相比简单均匀配置可额外减少 33% 的操作次数，同时还展示了与压缩技术和紧
PDF8 months ago
卷积神经网络中使用局部敏感哈希进行即时复杂度降低
通过结构化剪枝方法，利用局部敏感哈希检测通道维度的冗余来压缩潜在特征图，使用 HASTE 模块可以在不需要训练或微调的情况下，即刻降低网络的测试推理成本，有效减少近 47% 的浮点运算量而只损失 1.25% 的准确性。
PDF9 months ago
通过自适应反向传播实现大规模语言模型微调中的绿色人工智能
通过评估不同张量的反向传播成本和对精调模型准确性的贡献，选择最适合的张量集以最小化训练成本，并实现 FLOPs 的减少，GreenTrainer 技术相较于整个 LLM 模型的精调可节省高达 64% 的 FLOPs，同时不会显著降低模型准确
PDF9 months ago
基于不确定性引导的空间修剪架构用于高效帧插值
本文提出了一种基于不确定性引导的空间剪枝（UGSP）架构，通过利用不确定性生成的遮罩标签来正确定位易区域，同时采用自对比训练策略提高 UGSP 性能。实验证明，与未剪枝基准相比，UGSP 在 Vimeo90K/UCF101/MiddleBu
PDFa year ago
图像 - 语言学习的联合自适应表示
通过联合学习紧凑的视觉和语言表示形式以及使用自适应的、迭代融合多模态特征的方法来实现图像 - 语言学习，并增加数据效率和降低计算复杂度。该方法相比于当前流行的图像 - 语言模型而言，可降低 33% 的浮点数操作次数，同时提高性能，而只需要较
PDFa year ago
DiffRate : 针对高效视觉 Transformer 的可区分压缩率
本文提出了一种新颖的基于可微的压缩率的 token 压缩方法 (DiffRate)，通过学习不同网络层的压缩率实现同时进行 token 压缩和融合，实验结果表明 DiffRate 方法在保证准确率的前提下，能够有效降低 FLOPs 并提高推
PDFa year ago
网络修剪的剪枝感知稀疏正则化
本文提出了一种名为 MaskSparsity 的新型网络剪枝方法，使用有意义的稀疏正则化方法来选择特定滤波器，以获得更好的模型压缩效果，并在不损失模型准确性的情况下，在 Deep Learning 领域实现 63.03% 的 FLOP 降低
PDF2 years ago
神经网络的自动稀疏连通性学习
本文提出了一种名为 Sparse Connectivity Learning 的新型自动裁剪方法，通过使用二进制掩码描述网络连接，同时使用 Identity STE 进行离散掩码松弛。在目标函数中加入网络总连接数的正则化项，无需定义裁剪标准
PDF2 years ago
AAAI高效保留模型准确性的自动神经网络剪枝
本文提出一种自动修剪方法来减少神经网络中的 FLOPs，该方法通过引入可训练瓶颈来学习哪些神经元需要被保留以保持模型准确性，实验证明，该方法可以在保持模型准确性的前提下显著减少模型的 FLOPs。
PDF3 years ago
共同激活共同连接：一种带自监督掩码预测的动态剪枝方法
本研究提出了一种基于 Hebbian 理论的动态网络剪枝方法，通过训练一个自我监督的二分类模型来预测每个层中需要处理的卷积核，从而实现 FLOPs 的减少，同时避免通过规范化引入复杂度来平衡各种损失，并实现透明的超参数选择。该方法在 CIF
PDF3 years ago
KDDTransformer 模型的学习型 Token 裁剪
本文提出了一种新的学习 Token 修剪 (LTP) 方法，旨在优化 transformer 模型输入序列的推理成本，通过对注意力得分低于阈值的无关 Token 进行逐层自适应性的修剪，从而获得 2.5% 的性能提升和 FLOPs 降低，进
PDF3 years ago
HRank：使用高阶特征图进行滤波器剪枝
本文主要介绍了一种基于高级别特征的神经网络剪枝算法，该算法通过数学方法确定剪枝规则并优化低级别特征的剪枝效率，达到了减少 FLOPs 和参数数量的效果，而且即使未更新的高级别特征权重对整体性能影响也很小。
PDF4 years ago
神经网络剪枝的重要性评估
本文介绍了一种以结构削减神经网络参数为主要内容的新方法，可通过估算神经元对最终损失的贡献并逐步去除小分值的神经元来减少计算、能量和内存传输成本。对于在 ImageNet 上训练的现代网络，我们测量了我们的方法计算的贡献与真实重要性的可靠估计
PDF5 years ago
递归贝叶斯剪枝加速 CNN
提出一种递归贝叶斯剪枝方法（RBP）来加速卷积神经网络，在考虑层间依赖的情况下使用基于 dropout 的冗余度测量法，解决了传统方法忽略层间依赖的问题。实验表明，该方法在多种 CNN 体系结构上的性能优于现有方法，尤其在大规模数据集 IL
PDF6 years ago
ECCV基于滤波器组逼近的极端网络压缩
该论文提出了一种基于滤波器组逼近的新型分解方法，该方法可以显著减少深度卷积神经网络中的冗余，同时保持大部分特征表示，通过在每层中利用滤波器组结构，相比于其他基于低秩分解算法，我们的方法可以在多个图像分类数据集上减少 80% 以上的算术运算量
PDF6 years ago