Mar, 2024

嵌入向量的余弦相似度真的只是相似性吗？

PDF
TL;DR用于量化高维对象之间语义相似度的余弦相似度在实践中比未归一化的嵌入向量点积表现有时更好、有时更差。通过研究基于正则化线性模型的嵌入，我们得出了余弦相似度可以产生任意且无意义的相似度的结论。因此，我们提醒不要盲目使用余弦相似度，并提出替代方法。
cosine-similarityvectorsfeature embeddingregularized linear modelsdeep models
发现论文，激发创造
  • 通过标准化的 ICA 转换嵌入重新审视余弦相似度

    本研究提出一种新的解释，将余弦相似度解释为在独立成分分析转换的嵌入空间中的语义相似度之和，通过实验证明了归一化的 ICA 转换后的嵌入具有稀疏性，可以增强可解释性，并利用理想嵌入进行检索实验验证了该解释的有效性。

    Jun, 2024

  • 相关系数与语义文本相似度

    本研究比较了常见文本向量表示方法中余弦相似度和皮尔逊相关系数等相似度计算方法的优缺点及其适用范围，并提出使用非参数秩相关系数作为相似度计算方法，以提高语义文本相似性任务的性能表现。

    May, 2019

  • 余弦归一化：在神经网络中使用余弦相似度代替点积

    该研究探讨使用余弦相似度或中心余弦相似度（皮尔逊相关系数）来替代神经网络中点积计算，从而达到较好的正则化效果，实验结果表明，余弦正则化优于其他正则化技术。

    Feb, 2017

  • 基于排名的词向量相似度度量

    本文研究了基于词嵌入的语义相似度计算方法，提出了一种基于排名的度量方法，在相似度测量和异常值检测方面表现良好，表明基于排名的度量方法可以提高聚类质量。

    May, 2018

  • 对于高频词嵌入相似度度量中余弦相似度的问题

    使用余弦相似度可对于 NLP 的任务（如问答，信息检索，机器翻译）进行上下文嵌入建模，但是我们发现使用 BERT 解析的余弦相似度在估算词语相似度方面存在高低频词的差异，在控制多义性和其他因素后，高频词与同一词语的其他实例或其他上下文中的其他词语的相似度被低估，这种低估是由于高低频词的代表性几何形状差异导致.

    May, 2022

  • 上下文比对：使用度量张量提高余弦相似度测量

    本文中，我们提出了使用扩展余弦相似度测量来提高单词相似度任务的性能，我们还探索了这种方法在上下文相同的情况下特别有效的假设，并使用了不同的数据集来进行测试。测试结果显示，使用本文提出的方法可以显著提高相似度任务的性能。

    Mar, 2022

  • 词向量集之间的相关性

    研究表明，基于单词嵌入的相似性度量方法在无监督语义文本相似性（STS）任务中正在与更复杂的深度学习和专家设计的系统轻松竞争。通过将一个单词嵌入视为标量随机变量的例如 300 个观测值，我们避免了传统的几何方法，使用于基本汇集运算和经典相关系数得到的相似性效果很好，胜过许多最近的方法，同时速度更快且实现容易。此外，研究认为通过重新生成核希尔伯特空间之间的相关算子，可以避免汇集运算并直接比较词嵌入集。正如余弦相似性用于比较单个单词向量一样，我们介绍了中心核对齐（CKA）的一种新颖应用，作为平方余弦相似性的集合的自然推广。同样，CKA 非常易于实现，并享有非常强的实证结果。

    Oct, 2019

  • 词嵌入的旋转和可解释性：以俄语为例

    本文研究了连续词嵌入模型中用于衡量单词相似性的余弦相似度在正交变换下的稳定性，发现使用奇异值分解的正交变换可以提高某些成分的意义并使成分在重新学习时更稳定；同时对俄语语言模型（RusVectores、fastText、RDT）进行了组成分析。

    Jul, 2017

  • 利用矩阵流形推理单词嵌入中的语言规律

    本文介绍了一种基于 Grassmannian 的新方法，旨在通过建模单词集合所围成的子空间来捕获连续词向量表示中的类比关系，该方法利用测地核的修改余弦距离模型捕获跨单词类别的关系特定距离，实验结果表明与以前的方法相比，本方法在类比任务上表现显著改善。

    Jul, 2015

  • 出人意料：相似度评分的对比效应

    通过提出 “惊喜得分”，一种集合标准化相似性度量方法，提高零样本和少样本文档分类任务的性能，相比原始余弦相似性，通常可以达到 10-15％的更好性能。

    Aug, 2023