May, 2023

混合产品距离下的静态词向量频率感知维度选择

PDF
TL;DR本篇论文研究了词频对于维度选择的影响，提出了使用 Mixed Product Distance（MPD）作为指标，选择适当的维度，以优化词嵌入算法的效率 - 性能权衡，并通过实验验证该方法的优势。
word embeddingdimension selectionword frequencymixed product distanceefficiency-performance trade-off
发现论文，激发创造
  • 词嵌入相似度计算方式的频率依赖性

    本文系统研究了几种静态词向量嵌入中单词频率与语义相似性之间的关联，并发现高频单词之间的相似性更高。同时，本文还探究了单词频率对基于嵌入的性别偏见测量的影响，并证明通过操纵单词频率可使偏见发生倒转。

    Nov, 2022

  • 词嵌入的简单有效的降维方法

    本文提出一种基于主成分分析和后处理算法相结合的新颖算法，用于将预先训练好的词向量降维，实验表明该算法能够在保证性能的前提下将词嵌入维数降至原来的一半。

    Aug, 2017

  • 应用于内存高效推荐系统的混合维度嵌入

    通过使用混合维度嵌入层架构，将嵌入向量的维度与其查询频率相匹配，可以显著降低内存使用，并同时提高机器学习性能，作者在 Criteo Kaggle 数据集上进行了实验验证。

    Sep, 2019

  • 词嵌入的维度性

    通过提出 Pairwise Inner Product (PIP) loss 提出了一种新的度量词嵌入非相似性的方法，并使用矩阵摄动理论揭示了词嵌入维度选择中的基本偏差 - 方差权衡，同时阐明了词嵌入过度拟合的鲁棒性。

    Dec, 2018

  • RPD：一种用于词嵌入间距离计算的函数

    本文提出了一种称作相对内积距离 (Relative pairwise inner Product Distance, RPD) 的新度量方法，用以比较不同的词向量空间，根据这个度量方法的特点，系统地研究了不同算法、训练过程和语料库的词向量之间的关系，并验证了 RPD 作为衡量嵌入空间距离的有效性，为尚未被完全了解的词嵌入提供了新的认识。

    May, 2020

  • 为推荐设计的内存高效嵌入

    本文介绍一种基于 AutoML 的框架（AutoDim），该框架可以以数据驱动的方式自动为不同的特征字段选择维度，并在基准数据集上进行了广泛实验来验证其有效性。

    Jun, 2020

  • 评估预训练句子嵌入的无监督降维方法

    使用预训练语言模型（PLMs）生成的句子嵌入引起了自然语言处理界的广泛关注，因为它们在多种下游应用中以优越的性能表示文本。然而，当在内存或计算受限设备中表示大量句子时，由 PLMs 生成的句子嵌入的高维度会带来问题。作为解决方案，我们评估了无监督的降维方法来降低由 PLMs 生成的句子嵌入的维度。我们的实验结果表明，如主成分分析（PCA）等简单方法可以将句子嵌入的维度降低近 50%，而不会在多个下游任务中造成显著性能损失。令人惊讶的是，在某些任务中，进一步降低维度可以提高某些 PLMs 生成的句子嵌入的性能。

    Mar, 2024

  • 维度变化对词嵌入偏差的影响

    使用英文维基百科语料库，研究了维度变化对词嵌入偏差的影响，结果显示词嵌入的偏差会随着维度变化而显著变化，且对不同的词嵌入方法影响各异，因此在选择词嵌入维度时应考虑这些因素。

    Dec, 2023

  • 上下文词嵌入的逐步语义权重训练

    本研究提出一种新颖的在线算法，通过最小化上下文嵌入组内的距离来学习单词嵌入中每个维度的本质，以三种最先进的基于神经网络的语言模型 Flair、ELMo 和 BERT 生成上下文嵌入，为同一词汇类型生成不同的嵌入，这些嵌入由 SemCor 数据集手动标注的意义进行分组，结论表明本文提出的算法不会损伤性能，甚至能提高 3%，可以用于未来关于上下文嵌入可解释性的研究。

    Nov, 2019

  • 动态语境词嵌入

    本研究提出基于预训练语言模型的动态情境词向量，能够以语言和非语言环境为依据来表征单词的含义变化，并在四个英文数据集上做出定性和定量分析，以彰显其应用潜力。

    Oct, 2020