memory requirement | BriefGPT

关键词memory requirement

搜索结果 - 5

基于块选择性重编程的视觉 Transformer 设备端训练
通过研究现有的内置训练方法的局限性，本文提出了基于块选择性重编程（BSR）的方法，在部分冻结层的基础上，根据自注意力得分从预训练模型中选择性地丢弃令牌，有效地减少训练内存和计算成本，同时保持相似的准确性，适用于多任务学习场景。
PDF3 months ago
ZO-AdaMU 优化器：零阶优化中动量和不确定性的适应扰动
MeZO 的模拟摄动随机逼近梯度估计导致严重震荡和时间开销，缺少动量正则化，而 ZO-AdaMU 通过在随机梯度近似中采用动量来解决这些问题，收敛性分析和实验表明这是改善 ZO-SGD 收敛稳定性和速率的更好方法。
PDF6 months ago
带有非渐进性超线性收敛速率的有限记忆贪婪拟牛顿法
本研究提出了一种有界存储拟牛顿方法（LG-BFGS），通过在控制存储需求的情况下利用过去的曲率信息来实现非渐近超线性收敛，并在速度和存储需求之间找到了一种平衡。
PDFa year ago
神经特征回归的数据集蒸馏
本文实现了一种基于神经 Feature Regression with Pooling (FRePo) 的 dataset distillation 方法，其在 CIFAR100、Tiny ImageNet 和 ImageNet-1K 上实
PDF2 years ago
IJCAIPlay and Prune: 适应性滤波剪枝用于深度模型压缩
本文提出了基于最小 - 最大框架的卷积神经网络滤波器级别剪枝方法，该方法同时对 CNN 模型参数进行剪枝和微调，具有自适应剪枝率和可直接指定误差容限等特点，在不损失准确性的情况下，有效减少了 VGG-16 的参数数量和 FLOPS。
PDF5 years ago