Nov, 2023

大规模可学习向量存储压缩的实验分析

PDF
TL;DR我们对嵌入向量的压缩进行了全面的比较分析和实验评估，引入了一个新的分类法，并开发了一个模块化基准测试框架，评估了 14 种代表性方法，从而为不同内存预算下的使用情形推荐了最佳方法。此外，我们的研究还揭示了当前方法的局限性，并提出了未来研究的潜在方向。
embedding vectormachine learningdatabase-related domainsembedding compressionbenchmarking framework
发现论文，激发创造
  • 压缩词嵌入

    该论文研究了使用词向量空间中的哈希技术压缩向量表达的内部结构对嵌入式表示存储优化的影响，同时探讨了二元分解对于嵌入式表示的可解释性的提高。

    Nov, 2015

  • 学习压缩嵌入，为设备内推理提供支持

    提出一种新型的多嵌入压缩方法 MEmCom，利用哈希和可训练权重分别构建两个嵌入表来同时实现对嵌入表的压缩和各实体对应独特嵌入的映射，该方法在多个问题类别上超过现有技术，并在压缩嵌入大小的同时实现与非压缩嵌入相近的区分能力。

    Mar, 2022

  • 基于低秩矩阵分解的文本分类在线嵌入压缩

    本研究提出一种深度学习模型的压缩方法，利用低秩矩阵因式分解来压缩自然语言处理中的字词嵌入层，经过实验证明可以在 90% 的压缩比下保持精度不受影响，并且在句子分类任务上表现优于其他方法，同时还引入了一种新的学习率调度算法 CALR，其在句子分类基准测试中表现出优越性。

    Nov, 2018

  • 深度组合编码学习压缩词向量

    该论文提出了一种使用少量基向量构建嵌入式编码、使用 Gumbel-softmax 技巧直接学习离散码表的自然语言处理模型压缩方法，并在情感分析和机器翻译任务中实现了 98% 的压缩率，从而达到在不影响性能的前提下减少内存占用的目的，该方法不需要改变网络结构且具有语言无关性。

    Nov, 2017

  • 用于高效再识别的嵌入式压缩

    这篇论文研究了针对现实世界中物体再识别（ReID）算法的嵌入式压缩技术，通过量化感知训练和三种不同的降维方法（迭代结构化剪枝、初始化时对嵌入进行切片以及使用低秩嵌入）进行了压缩性能评估，发现嵌入可以压缩高达 96 倍，且性能下降较小，这意味着现代再识别方法并没有充分利用高维潜在空间，为进一步提升系统能力开辟了新的研究方向。

    May, 2024

  • 用张量嵌入层实现模型高效压缩

    本文介绍了一种使用 Tensor Train（TT）分解来压缩模型中的嵌入层的新方法，并在自然语言处理的广泛基准测试中评估了其性能与压缩比之间的平衡。

    Jan, 2019

  • 轻量级基于嵌入的推荐系统的全面性能基准测试

    这项研究通过全面的基准测试过程，对轻量级嵌入式推荐系统（LERSs）的性能、效率和跨任务可转移性进行了调查，并提出了一种高效的嵌入式压缩方法，采用幅度剪枝，克服了现有复杂 LERSs 方法的竞争力，并揭示了 LERSs 在协同过滤和基于内容的推荐两个任务中的独特性能以及其有效性和普适性的启示。

    Jun, 2024

  • 压缩嵌入层及其在推荐系统中的应用综述

    本文回顾可训练的、压缩的嵌入层的文献，并讨论它们压缩庞大的神经推荐系统的适用性，同时报告我们使用压缩嵌入层测量的结果。

    Jun, 2023

  • 通过稀疏词表示压缩神经语言模型

    本文提出使用稀疏单词表示来压缩神经语言模型的参数量，以减少计算资源需求并提高性能表现。

    Oct, 2016

  • 现有词嵌入方法的全面实证评估

    本文通过对现有单词嵌入方法的特点和分类任务的分析，将单词嵌入方法划分为传统方法和基于神经网络的方法，揭示基于神经网络的单词表示方法相比于传统方法更能捕捉语言的语义和句法规律。实验验证了不同方法的性能差异。

    Mar, 2023