Mar, 2016

在 ESL 和 TOEFL 数据集中击败学生和向量余弦的技术

PDF
TL;DR本文声称，对于在向量空间模型中识别单词相似度最有效的无监督度量之一，即向量余弦来说，它可以被一种完全无监督的度量超越，这种度量评估两个目标单词的最相关语境的交集程度，并根据共享语境在依赖性排名列表中的排名对该交集进行加权。为了证明这一点，我们描述并评估了 APSyn，它是平均准确率的一种变体，独立于采用的参数，其在 ESL 和 TOEFL 测试集上均优于向量余弦和共现。在最佳设置下，APSyn 在 ESL 数据集上达到 0.73 的准确率，在 TOEFL 数据集上达到 0.70 的准确率，因此超越了非英语 US 大学申请人（根据文献报道，其平均为 64.50%）和几种最先进的方法。
vector cosineunsupervised measureword similarityapsynaverage precision
发现论文，激发创造
  • 无监督的词语相似度测量方法：如何在向量空间模型中超越共现和向量余弦

    本文认为矢量余弦在向量空间模型中用于识别单词相似度的无监督度量之一，可以被计算目标词最互相关联上下文的交集的无监督度量领先。为了证明这一点，我们描述并评估了 APSyn，它是平均精度的一种变体，无需任何优化，在标准 ESL 测试集上比矢量余弦和共现提高了 9.00％至 17.98％，具体取决于选择的顶部上下文的数量。

    Mar, 2016

  • 用 APSyn 测试向量余弦相似度估计

    本研究旨在探究一种新的度量方法 APSyn，在相似度估计任务中表现出了高的竞争力，甚至与单词嵌入的结果报告相当，并解决了 Vector Cosine 的一些弱点。

    Aug, 2016

  • 上下文比对：使用度量张量提高余弦相似度测量

    本文中，我们提出了使用扩展余弦相似度测量来提高单词相似度任务的性能，我们还探索了这种方法在上下文相同的情况下特别有效的假设，并使用了不同的数据集来进行测试。测试结果显示，使用本文提出的方法可以显著提高相似度任务的性能。

    Mar, 2022

  • 对于高频词嵌入相似度度量中余弦相似度的问题

    使用余弦相似度可对于 NLP 的任务（如问答，信息检索，机器翻译）进行上下文嵌入建模，但是我们发现使用 BERT 解析的余弦相似度在估算词语相似度方面存在高低频词的差异，在控制多义性和其他因素后，高频词与同一词语的其他实例或其他上下文中的其他词语的相似度被低估，这种低估是由于高低频词的代表性几何形状差异导致.

    May, 2022

  • 基于排名的词向量相似度度量

    本文研究了基于词嵌入的语义相似度计算方法，提出了一种基于排名的度量方法，在相似度测量和异常值检测方面表现良好，表明基于排名的度量方法可以提高聚类质量。

    May, 2018

  • 相关系数与语义文本相似度

    本研究比较了常见文本向量表示方法中余弦相似度和皮尔逊相关系数等相似度计算方法的优缺点及其适用范围，并提出使用非参数秩相关系数作为相似度计算方法，以提高语义文本相似性任务的性能表现。

    May, 2019

  • 重新审视使用余弦相似度的文档向量

    该研究论文在分析了原先被报道在 IMDB 数据集上的最新结果进行情感分析的逻辑回归模型、被用于训练文档向量的 BON 和 DV-ngrams-cosine 方法以及加权后的 Naive Bayesian 的基础上，揭示出一个错误影响了前者的结果。实验结果也展示了利用 RoBERTa 模型具有更好的表现，但当标注的训练数据量很小时，DV-ngrams-cosine 的表现优于 RoBERTa，并提出了基于朴素贝叶斯加权的子采样方法，可以提高该方法的训练速度和准确度。

    May, 2022

  • 词向量集之间的相关性

    研究表明，基于单词嵌入的相似性度量方法在无监督语义文本相似性（STS）任务中正在与更复杂的深度学习和专家设计的系统轻松竞争。通过将一个单词嵌入视为标量随机变量的例如 300 个观测值，我们避免了传统的几何方法，使用于基本汇集运算和经典相关系数得到的相似性效果很好，胜过许多最近的方法，同时速度更快且实现容易。此外，研究认为通过重新生成核希尔伯特空间之间的相关算子，可以避免汇集运算并直接比较词嵌入集。正如余弦相似性用于比较单个单词向量一样，我们介绍了中心核对齐（CKA）的一种新颖应用，作为平方余弦相似性的集合的自然推广。同样，CKA 非常易于实现，并享有非常强的实证结果。

    Oct, 2019

  • CoSimLex: 一种在上下文中评估分级词语相似度的资源

    本文旨在填补对上下文依赖词向量表示评估的空白，介绍了一个新数据集 CoSimLex，它提供了基于上下文的相似度量，不仅涵盖了单词意义上的离散差异，而且涵盖了更微妙、更连续程度的意义变化，并且覆盖了不只一个语言。

    Dec, 2019

  • 基于百科全书、本体论和搭配知识的语义相关性测度

    该研究描述了一种将基于 Wikipedia 的显式语义分析度量、WordNet 路径度量和混合共现指数结合的新语义相关性度量。我们的度量在 WS-353 测试中取得了最高的结果。附录中讨论了 ESA 到 2011 维基百科数据的适应，以及在词、句和段落级别进行过滤但未成功增强 ESA 的各种尝试。

    Jul, 2011