Apr, 2022

极值 GloVe：通过尾部推断实现理论上准确的分布式词向量嵌入

PDF
TL;DR本文提出了一种理论上准确的 GloVe 模型，利用极值分析的理论，并通过重新定义权重最小二乘损失函数以及准确选择幂指数的方式来创建该模型。我们展示了我们的算法的竞争力，并显示 GloVe 的初始公式可以被视为我们的范例的一个特例。
distributed word embeddingsgloveweighted least squaresextreme value analysisnatural language processing
发现论文，激发创造
  • 词向量的统计不确定性: GloVe-V

    在计算社会科学的各种应用中，静态词嵌入广泛存在并为实际决策做出了贡献，然而，从词嵌入统计中得出的下游结论的统计不确定性评估一直是具有挑战性的。本文提出了一种方法，通过使用多元正态模型的解析近似来获得 GloVe（Pennington 等，2014）的近似、易于使用和可扩展的重建误差方差估计，GloVe 是最广泛使用的词嵌入模型之一。为了展示具有方差（GloVe-V）的嵌入的价值，我们说明了我们的方法如何使核心词嵌入任务中的原则性假设检验变得合理，例如在向量空间中比较不同词对之间的相似性，评估不同模型的性能，并使用不同的词列表分析语料库中的种族或性别偏见的相对程度。

    Jun, 2024

  • 企业用语的含义及其附近的其他事物

    该研究使用分析模型从传统理论中探究自然语言处理系统的统计学习方法，并在此基础上导出了有关使用这些算法和共现数据的系统的见解，进一步揭示了 Word2Vec 算法的潜力和其中的偏差，同时分析了共现模型中的统计依赖密度，并且发现了分布假设的部分实现。

    Apr, 2022

  • Poincaré GloVe: 超球面词嵌入

    本文提出了一种基于 delta-hyperbolicity 的方法，在超球面的笛卡尔积空间中嵌入词嵌入向量，在此基础上利用 Glove 算法学习无监督的词嵌入，并发现了这种嵌入方式相对于高斯词嵌入的几何意义，同时通过这种新类型几何的平行传送得出新的解决 word analogy 的方法，在各种任务上表现出色。

    Oct, 2018

  • 一种集成方法生成高质量的词向量嵌入（2016）

    本文提出了一种集成方法，通过将 GloVe 和 word2vec 的嵌入方式与语义网络 ConceptNet 和 PPDB 的结构化知识相结合，将它们的信息融合成一个具有大型多语言词汇的共同表示，并达到了许多词语相似性评估的最先进性能

    Apr, 2016

  • GloVe 与 word2vec 的链接

    本文讨论了 GloVe 和 skip-gram 两种单词向量表示方法在训练目标上的相似性，指出它们的目标与代价函数虽不同但具有类似性。

    Nov, 2014

  • 词嵌入算法的解构

    本文针对词嵌入在自然语言处理中的应用，通过对 Word2vec、GloVe 等模型进行剖析，提出了一种通用形式，揭示出制作词嵌入所需的共同条件，并强调理论研究对未来模型开发的指导作用。

    Nov, 2020

  • 无监督图学习中的非向量空间词嵌入

    本文介绍了一种用于学习单词表示的无监督图形表示方法，通过使用最短路径距离，将每个单词视为带权图中的节点，并表明比传统的向量表示方法更好地表现出单词的相似性和类比任务。

    Oct, 2020

  • 探索词语和关系的理论表示

    该研究提出了一种理论方法，将词嵌入和知识图谱中的实体及其关系的几何形状联系起来，以便更好地理解它们的语义结构和性能。

    Feb, 2022

  • 使用本地训练的单词嵌入进行查询扩展

    本文研究了词嵌入在查询扩展中的应用，结果表明全局训练的 Word2Vec 和 GloVe 等词嵌入不能很好地完成信息检索任务，建议其他使用全局嵌入的任务也可以受益于使用局部嵌入。

    May, 2016

  • 使用 Wasserstein 距离的高斯词嵌入

    该研究提出了一种使用 Wasserstein 距离作为损失函数的高效高斯词嵌入模型，并利用 ConceptNet 进行半监督学习，以获得更丰富的语义信息和更好的性能。

    Aug, 2018