BriefGPT.xyz
Ask
alpha
关键词
size reduction
搜索结果 - 5
强化学习任务的神经网络压缩
在强化学习中应用稀疏性和修剪方法对神经网络推断进行优化，从而达到能耗和延迟效率的提升，本研究针对不同强化学习算法及环境系统地进行了探索，并取得神经网络规模最多减小 400 倍的优化效果。
PDF
2 months ago
通过草图和偏差降低在小空间中的分布式最小二乘
通过设计最小化估计量的偏差而不是误差的素描方法，在分布设置中绕过大小减小的基本限制，我们给出了一个稀疏素描方法，使用两次数据通过以最优空间和当前矩阵乘法时间恢复几乎无偏的最小二乘估计量，从而实现通信效率更高的分布式平均算法，并直接改进了几种
→
PDF
2 months ago
LaMini-LM：用大规模指令生成多样化的蒸馏模型集群
研究通过将指令调整的大型语言模型知识压缩到较小的模型来降低资源消耗，经证实 可以在 15 个不同的 NLP 测试基准上与竞争对手基线相媲美，而体积约小 10 倍。
PDF
a year ago
CVPR
知识蒸馏：好老师耐心且一致
本文介绍了一种用于减小大规模计算机视觉模型尺寸、同时不影响性能的知识蒸馏方法，并且明确了影响该方法有效性的设计选择。通过全面的实验研究，我们在多种视觉数据集上获得了令人信服的结果，并实现了在 ImageNet 数据集上的 ResNet-50
→
PDF
3 years ago
EMNLP
序列级知识蒸馏
本文介绍了在神经机器翻译中应用知识蒸馏技术，包括传统的单词级别预测和两种新的序列级知识蒸馏模型。在现有最优模型的基础上，我们的学生模型在运行速度增加的同时，表现损失不大。此外，通过权重剪枝，还极大地减小了模型的参数数量。
PDF
8 years ago
Prev
Next