BriefGPT.xyz
Ask
alpha
关键词
memory utilization
搜索结果 - 5
在资源受限边缘环境中使用有效参数削减实现帕累托最优
通过优化现有的深度神经网络 (DNN)，减小模型大小并减少内存利用，提高硬件利用率，并在资源受限的边缘环境中便于设备内训练。在 Caltech-101 图像分类和 PCB 缺陷检测实验中，我们的模型表现优于原始模型 Xception 和轻量
→
PDF
4 months ago
高阶动态图表示学习与高效 Transformer 模型
通过在 Transformer 的注意力矩阵中编码高阶图结构，HOT 模型在图表示学习中的动态问题中提高了链接预测的准确性，同时通过设置层次结构在注意力矩阵上显著减少内存占用。与其他动态图表示学习方案相比，HOT 在 MOOC 数据集上实现
→
PDF
7 months ago
ACL
串行对比知识蒸馏在连续少样本关系提取中的应用
本文提出了一种新模型 SCKD，通过串行知识蒸馏来保留以前模型的先前知识，并通过伪样本进行对比学习，以保持不同关系样本的表示具有足够的可区分性，实现持续的少样本关系抽取任务，并在两个基准数据集上进行了验证。
PDF
a year ago
利用稀疏性在剪枝神经网络中优化大模型训练
本文提出利用稀疏子网络以优化内存利用和通信的方法来加速深度学习中的数据和层间并行算法，并将其融入 AxoNN，实验证明在 512 NVIDIA V100 GPU 上，相比于 AxoNN，DeepSpeed-3D 和 Sputnik，优化后的
→
PDF
a year ago
EMNLP
预训练语言模型的大型产品密钥存储器
本文研究了如何将 Product Key Memory（PKM）应用于预训练语言模型中，以提高模型容量和利用率，并验证了通过初始化和增加 PKM 来提高预训练和下游任务性能的有效性。
PDF
4 years ago
Prev
Next