ACLApr, 2022

知识库索引压缩通过降维和精度降低

PDF
TL;DR本文研究了通过降低信息库的维度和数值精度来减少检索问题答案时所需的计算资源，发现 PCA 能够简单地解决问题且需要的数据量较少，结合 1 位 / 维使能够在保持较好检索性能的前提下实现大幅压缩。
neural networkquestion answeringknowledge basedimensionality reductionpca
发现论文，激发创造
  • 词嵌入的简单有效的降维方法

    本文提出一种基于主成分分析和后处理算法相结合的新颖算法，用于将预先训练好的词向量降维，实验表明该算法能够在保证性能的前提下将词嵌入维数降至原来的一半。

    Aug, 2017

  • 开放域问答的高效内存基线

    本文研究了基于密集表示的检索系统如何减少内存占用，并提出了三个方法：降维、量化和过滤。在 TriviaQA 和 NaturalQuestions 数据集上进行评估后，发现使用不到 6GB 的内存就能获得可以与竞品相媲美的系统。

    Dec, 2020

  • 评估预训练句子嵌入的无监督降维方法

    使用预训练语言模型（PLMs）生成的句子嵌入引起了自然语言处理界的广泛关注，因为它们在多种下游应用中以优越的性能表示文本。然而，当在内存或计算受限设备中表示大量句子时，由 PLMs 生成的句子嵌入的高维度会带来问题。作为解决方案，我们评估了无监督的降维方法来降低由 PLMs 生成的句子嵌入的维度。我们的实验结果表明，如主成分分析（PCA）等简单方法可以将句子嵌入的维度降低近 50%，而不会在多个下游任务中造成显著性能损失。令人惊讶的是，在某些任务中，进一步降低维度可以提高某些 PLMs 生成的句子嵌入的性能。

    Mar, 2024

  • 使用 PCA 的低投入结构化 CNN 设计方法

    该研究论文提出了一种基于 PCA 的单次分析方式，可在不进行迭代重新训练的情况下，优化计算机视觉中的深度学习模型，包括 AlexNet，VGG 和 MobileNet，减少计算操作次数和参数数量。

    Dec, 2018

  • 使用预训练转换器进行人类级自然语言处理的实证评估：样本大小和维度的作用

    本文系统研究了在人类级别 NLP 任务如何通过降维方法及向量嵌入维度与样本大小来提高预测性能，其中 RoBERTa 模型在使用 PCA 降维时处理长文本用户表现更佳，大多数任务仅需 1/12 的向量嵌入维度即可达到最佳表现。

    May, 2021

  • 学习增强的降维 K 均值聚类

    使用主成分分析（PCA）降低数据集的维度，提高 k-means 算法在特定质心下的预测性能和降低成本。

    Jan, 2024

  • 超越 NED：基于知识库的复杂问答快速高效搜索空间削减

    CLOCQ 是一种基于 KB 感知信号的高效方法，通过 score-ordered KB 列表的前 k 个查询处理器，将语义匹配、与问题相关性、候选项间的协同性以及 KB 图的连接性信号相结合，剪枝掉搜索空间中的非相关部分，实验表明 CLOCQ 在复杂问题的 QA 基准测试中表现优于现有的基线。

    Aug, 2021

  • 用于高效再识别的嵌入式压缩

    这篇论文研究了针对现实世界中物体再识别（ReID）算法的嵌入式压缩技术，通过量化感知训练和三种不同的降维方法（迭代结构化剪枝、初始化时对嵌入进行切片以及使用低秩嵌入）进行了压缩性能评估，发现嵌入可以压缩高达 96 倍，且性能下降较小，这意味着现代再识别方法并没有充分利用高维潜在空间，为进一步提升系统能力开辟了新的研究方向。

    May, 2024

  • 共同优化查询编码器和产品量化来提高检索性能

    本文介绍了一种名为 JPQ 的联合优化方法，该方法结合了查询编码和 Product Quantization，以实现高效的 Dense Retrieval，并在两个公开的评估基准测评中获得了显着的性能提升。

    Aug, 2021

  • 基于随机投影的降维技术综述

    本文总结了基于随机投影的不同方法的使用情况，旨在帮助实践者为其特定应用选择合适的技术，并列举了各种方法的优缺点，并为研究人员提供进一步的参考，以开发新的基于随机投影的方法。

    Jun, 2017