scaling factors | BriefGPT - AI 论文速递

关键词scaling factors

搜索结果 - 8

ICLR当扩展与 LLM 微调相遇：数据、模型和微调方法的影响
大语言模型的微调方法的缩放因子对模型性能的影响的系统实验结果表明，LLM finetuning 遵循微调数据量与其他缩放因子之间的幂函数乘法联合缩放规律，LLM 模型尺寸的扩大比预训练数据尺寸的扩大对 finetuning 更有益处，而仅考
PDF4 months ago
网络瘦身的近端算法
研究提出一种叫做 proximal NS 的算法，可以训练卷积神经网络达到精炼、准确的结构，无需识别阈值并且压缩效果较好。实验中使用该算法在 CIFAR 10/100 数据集上验证了其有效性。
PDFa year ago
DiffFit: 通过简单的参数高效调整解锁大规模扩散模型的可传递性
该论文提出 DiffFit，一种参数高效的策略，可以对大规模预先训练的扩散模型进行微调，从而实现对新领域的快速适应，本方法只需要微调特定层中的偏差项和新加入的缩放因子，相对于完整的微调，实现了 2 倍的训练加速和极低的模型存储成本，Diff
PDFa year ago
PTQ4ViT：基于双等距量化的视觉 Transformer 后训练量化框架
本文提出了双均匀量化方法和用 Hessian 指导的指标方法来优化视觉转换器上量化的准确度，提出了一个高效的框架 PTQ4ViT，实验证明量化视觉转换器在 ImageNet 分类任务上能够实现接近无损的预测准确度（8 位量化的准确度降低小于
PDF3 years ago
XNOR-Net++: 二值神经网络的改进
本文提出了一种改进的训练算法，用于针对二元神经网络的权重和激活二进制数的训练，提出了一种新的比 XNOR-Net 更优的方法，通过反向传播学习判别式融合激活和权重缩放因子。实验表明，与分析计算的结果相比，我们的方法更加准确，且在相同的计算预
PDF5 years ago
Gate Decorator: 全局过滤剪枝方法用于加速深度卷积神经网络
本文提出了一种名为 Gate Decorator 的全局滤波器剪枝算法，该算法通过乘以通道缩放因子来转换卷积神经网络模块，并使用 Taylor 展开估算剪枝后的损失函数变化并使用估值进行全局滤波器重要性排序，然后通过删除无关紧要的滤波器来剪
PDF5 years ago
ICLR使用单个比特为每个权重训练宽残差网络以进行部署
该研究报告介绍了一种能够在资源受限制的嵌入式硬件上快速高效地部署训练完毕的深度神经网络的方法，即使用单个比特来表示和存储每个学习到的权重参数，通过在训练中为每个层应用等于层特定标准差的恒定未学习值的缩放因子来简化现有方法并提高误差率，并通过
PDF6 years ago
度量空间的随机粘合
本文研究了随机构造的度量空间中叶子集合的 Hausdorff 维度，当缩放因子和权重通常遵循幂律时，如 n ^ -α 和 n ^ -β。我们发现，对于一定的 α 和 β 范围，叶子的 Hausdorff 维度为 α-1。但是，当 β>1 且
PDF7 years ago