深度组合编码学习压缩词向量
本研究提出一种深度学习模型的压缩方法,利用低秩矩阵因式分解来压缩自然语言处理中的字词嵌入层,经过实验证明可以在 90% 的压缩比下保持精度不受影响,并且在句子分类任务上表现优于其他方法,同时还引入了一种新的学习率调度算法 CALR,其在句子分类基准测试中表现出优越性。
Nov, 2018
通过量化、码书和联合可学习码书等方法,本文提出了一种有效的深度神经网络近似方法,使得 Llama 7B 网络可以在 5 年前的智能手机上以 2GB 的内存占用进行加载。
Sep, 2023
本研究提出一种学习组合码嵌入以极大地减小 BERT 等模型尺寸的技术,并将其应用于语义解析,以及评估码嵌入尺寸与下游表现之间的权衡,实现语义解析的高性能同时符合语音助手等设备的存储要求。
Oct, 2020
提出一种新型的多嵌入压缩方法 MEmCom,利用哈希和可训练权重分别构建两个嵌入表来同时实现对嵌入表的压缩和各实体对应独特嵌入的映射,该方法在多个问题类别上超过现有技术,并在压缩嵌入大小的同时实现与非压缩嵌入相近的区分能力。
Mar, 2022
本文介绍了一种基于量化的压缩生成式语言模型的方法,该方法使用了基于 token 的对比 distillation 技术学习可区分的单词嵌入,并提出了一个基于模块的动态缩放技术,适应不同模块的量化器,实验结果表明该方法在各种任务上性能优于基准方法,并且实现了 14.4x 和 13.4x 的压缩率,与全精度模型具有可比性。
Mar, 2022
本文提出了针对神经自然语言理解模型的极端压缩技术,并在资源受限设备上进行了实验。在任务知晓的全流程压缩方法中,我们将词嵌入压缩与 NLU 任务学习相结合,经大规模商业 NU 系统测试,实现了 97.4% 的压缩率,同时预测性能下降不到 3.7%。
Nov, 2020
我们对嵌入向量的压缩进行了全面的比较分析和实验评估,引入了一个新的分类法,并开发了一个模块化基准测试框架,评估了 14 种代表性方法,从而为不同内存预算下的使用情形推荐了最佳方法。此外,我们的研究还揭示了当前方法的局限性,并提出了未来研究的潜在方向。
Nov, 2023