dynamic pruning | BriefGPT - AI 论文速递

关键词dynamic pruning

搜索结果 - 9

端到端率失真优化的三维高斯表示
该研究提出了 RDO-Gaussian 方法，采用紧凑的 3D 高斯学习作为端到端速率失真优化问题，通过引入动态修剪和熵约束矢量量化来优化速率和失真，从而显著减小 3D 高斯体的大小超过 40 倍，并在速率失真性能上超越了现有方法。
PDF3 months ago
CVPRLSK3DNet：面向大规模稀疏核的高效理解 3D 感知
本文提出了一种高效且有效的大规模稀疏 3D 神经网络（LSK3DNet），利用动态修剪扩大 3D 卷积的尺寸，通过空间动态稀疏和通道权重选择的核心组件，实现了对大规模稀疏 3D 核的学习，提升性能的同时大幅减少模型大小和计算成本，取得了语义
PDF3 months ago
CVPRFedMef: 朝着内存高效的联邦动态修剪
提出了一种新颖的记忆高效的联邦动态修剪框架 FedMef，它在保持修剪效率的同时，通过在给定预算内挽救了被标记为修剪的参数的关键信息。通过有效地减少激活内存占用，特别适用于部署联邦学习到内存受限设备上，与现有方法相比，它在内存占用上实现了
PDF3 months ago
SymbolNet: 自适应动态修剪的神经符号回归
基于神经网络的符号回归方法中引入了动态修剪，用于同时优化训练损失和表达复杂度，通过稀疏正则化适应性地调整修剪类型的目标稀疏度，并在多个数据集上证明了其有效性。
PDF6 months ago
基于幅度注意力的动态剪枝
本文提出了一种新颖的动态裁剪方法，称之为基于数量级注意力的动态裁剪 (MAP) 方法，该方法在前向和反向路径中均运用了权重的重要性来动态探索稀疏模型结构，可以在更高效的情况下实现密集模型的性能，并且在 CIFAR-10/100 和 Imag
PDFa year ago
基于私有设备局部敏感哈希的大规模分布式学习
使用新的哈希函数族，开发第一个在设备上具有私密性、个性化和内存效率高的局部敏感哈希框架，实现了隐私和个性化，能够与其他 LSH 框架相竞争，训练大规模推荐网络。
PDFa year ago
面向高效和可解释的自回归转换器的动态上下文剪枝
本文提出一种采用动态修剪机制的 Autoregressive Transformers 方法，可以在保持模型表现力不变的同时，减少生成过程中上下文信息的存储和计算负担，有效地解决了推理成本过高的问题。实验证明，该方法可以高效地修剪 80%
PDFa year ago
EMNLP自监督元学习用于知识图谱补全的自蒸馏
本文提出了一种自我蒸馏框架，使用元学习 (MetaSD) 和动态修剪来完成知识图谱的处理，旨在学习压缩的图形嵌入，并解决长尾样本问题。在实验中 MetaSD 表现出与强基线的竞争性表现，同时比基线小 10 倍。
PDFa year ago
Delta Keyword Transformer: 通过动态裁剪的多头自注意力将 Transformer 移植到边缘
该研究提出了一种动态剪枝方法，通过利用数据在不同时间点的稳定性来降低推理成本，减少了 Transformer 网络中 self-attention 操作的次数，从而在维持高准确率的同时大幅度降低了模型复杂度。
PDF2 years ago