Jun, 2024

词向量的统计不确定性: GloVe-V

PDF
TL;DR在计算社会科学的各种应用中，静态词嵌入广泛存在并为实际决策做出了贡献，然而，从词嵌入统计中得出的下游结论的统计不确定性评估一直是具有挑战性的。本文提出了一种方法，通过使用多元正态模型的解析近似来获得 GloVe（Pennington 等，2014）的近似、易于使用和可扩展的重建误差方差估计，GloVe 是最广泛使用的词嵌入模型之一。为了展示具有方差（GloVe-V）的嵌入的价值，我们说明了我们的方法如何使核心词嵌入任务中的原则性假设检验变得合理，例如在向量空间中比较不同词对之间的相似性，评估不同模型的性能，并使用不同的词列表分析语料库中的种族或性别偏见的相对程度。
static word embeddingsstatistical uncertaintymodel selection criteriareconstruction error variance estimatesglove-v
发现论文，激发创造
  • 一种集成方法生成高质量的词向量嵌入（2016）

    本文提出了一种集成方法，通过将 GloVe 和 word2vec 的嵌入方式与语义网络 ConceptNet 和 PPDB 的结构化知识相结合，将它们的信息融合成一个具有大型多语言词汇的共同表示，并达到了许多词语相似性评估的最先进性能

    Apr, 2016

  • 极值 GloVe：通过尾部推断实现理论上准确的分布式词向量嵌入

    本文提出了一种理论上准确的 GloVe 模型，利用极值分析的理论，并通过重新定义权重最小二乘损失函数以及准确选择幂指数的方式来创建该模型。我们展示了我们的算法的竞争力，并显示 GloVe 的初始公式可以被视为我们的范例的一个特例。

    Apr, 2022

  • 基于贝叶斯方法的词向量偏差估计不确定性

    该研究提出了一种基于贝叶斯建模的方法，以更准确地检测词向量中的偏见，并在 Religion、Gender 和 Race 词表上进行了展示，验证了它的有效性。

    Jun, 2023

  • 关于测量和减轻词嵌入偏见推断的研究

    通过自然语言推理任务设计机制，测量陈旧的语义观念对词向量嵌入产生的影响。通过静态和动态嵌入中的偏见消除策略，减少了对其下游模型的无效推断，特别是对性别偏见的消除策略能够扩展到上下文嵌入中静态组件的有选择性应用（ELMo、BERT）。

    Aug, 2019

  • 学习性别中性词嵌入

    本文提出了一种基于新颖训练过程的性别中性词向量的学习方法，通过在某些维度中保留性别信息并让其他维度不受性别影响的方法，成功地建立了一种 GN-GloVe 的性别中性变体，该变体在保留嵌入模型功能的基础上隔离了性别信息，并得到了定量和定性实验证实。

    Aug, 2018

  • SPINE: 稀疏可解释神经嵌入

    通过新颖的去噪 k 稀疏自编码器的变种，我们生成了高效且可解释的词向量，并在大规模人类评估中表现出比 GloVe 和 word2vec 更好的可解释性和性能。

    Nov, 2017

  • 词嵌入算法的解构

    本文针对词嵌入在自然语言处理中的应用，通过对 Word2vec、GloVe 等模型进行剖析，提出了一种通用形式，揭示出制作词嵌入所需的共同条件，并强调理论研究对未来模型开发的指导作用。

    Nov, 2020

  • 探寻嵌入的纹理：探讨嵌入的构造

    通过引入噪音亚百特信息编码的向量空间，使用探测框架扩展方法，研究了 GloVe 和 BERT 嵌入中向量范数如何编码不同种类的信息，发现 GloVe 在向量范数中存储了句法和句子长度信息，而 BERT 则将其用于编码上下文不连贯信息。

    Oct, 2022

  • 向量空间中多个嵌入每个单词的高效非参数估计

    提出一种扩展 Skip-gram 模型的方法，它可以高效地学习每个单词类型的多个嵌入，通过联合进行词义辨别和嵌入学习，非参数地估计每个单词类型的很多不同的词义，并通过在一个拥有近 10 亿标记的语料库上训练一台机器的演示，展示了它的可扩展性。

    Apr, 2015

  • Poincaré GloVe: 超球面词嵌入

    本文提出了一种基于 delta-hyperbolicity 的方法，在超球面的笛卡尔积空间中嵌入词嵌入向量，在此基础上利用 Glove 算法学习无监督的词嵌入，并发现了这种嵌入方式相对于高斯词嵌入的几何意义，同时通过这种新类型几何的平行传送得出新的解决 word analogy 的方法，在各种任务上表现出色。

    Oct, 2018