AAAINov, 2018

通过概念否定实现单词向量的无监督后处理

PDF
TL;DR本文介绍了一种基于矩阵嵌入器的新型词向量后处理技术，能够抑制词向量中高方差的潜在特征，该方法是纯无监督学习的，不依赖于任何语料库或外部语言数据库，研究结果表明，这种词向量后处理方法在内在词汇评估任务中表现比现有的前沿方法更好，并且后处理后的词向量可用于对话状态跟踪的下游自然语言处理任务，在不同的对话领域中都能取得更好的结果。
word vectorsnatural language processingmatrix conceptorsunsupervised learningdialogue state tracking
发现论文，激发创造
  • 使用概念辅助的去偏置化上下文嵌入

    使用 conceptors 方法去除 BERT 和 GPT 中上下文词嵌入的偏见子空间，提出用后处理和新的架构 CI-BERT 两种实现方法，实验证明 CI-BERT 虽然可以优于后处理版本在消除偏见方面的性能，但它降低了语言模型的准确性。

    Nov, 2022

  • 除顶部之外：用于词语表达的简单有效后处理

    本文介绍了一种消除平均向量和少量主导方向的词向量后处理技术，通过在多种语言和数据集上进行的实验验证，发现处理后的词表示比原始表示更强，适用于词汇水平内在任务和句子级任务。

    Feb, 2017

  • 使用 WEAT 评估的概念消除词表示偏见

    通过使用概念器去偏置来后处理传统和上下文的单词嵌入，该方法可以同时消除种族和性别偏见，并且可以有效地利用偏见单词的异构列表。该方法可以减少单词嵌入所表示的种族和性别偏见，其中通过 Caliskan 等人的单词嵌入关联测试（WEAT）来衡量。

    Jun, 2019

  • 将词向量拟合到语言约束条件上的计数器

    该研究提出了一种注入反义词和同义词约束条件以提高向量对语义相似性判断能力的新型 Counter-fitting 方法。将该方法应用于公开预训练的词向量，可在 SimLex-999 数据集上达到新的最高性能水平。研究还展示了如何使用该方法来调整词向量空间以用于下游的对话状态追踪任务，使结果在不同的对话领域都得到了可靠的改进。

    Mar, 2016

  • 利用半同胞回归对词嵌入进行因果去噪

    本文提出了一种基于因果推断框架下的新型词向量后处理方案，并应用 Half-Sibling Regression 算法，以识别和消除噪音，实现对预训练词向量的增强，相较于之前的方法具有可解释性和透明度，评估结果表明在标准水平评估任务和情感分析方面的性能达到了最先进水平。

    Nov, 2019

  • 后专业化：对词向量进行改装以处理词汇资源中未见过的词语

    该论文提出了一种基于神经网络的后置特化方法，能够更新分布式词向量空间中所有单词并且在内在单词上保留有用的语言知识，该方法对各种后处理模型都有显著的改进，跨越了三种语言的应用。

    May, 2018

  • 非分布式词向量表示

    该研究介绍了一种从手工构造的语言资源（如 WordNet、FrameNet 等）中构建解释性词向量的方法，这些向量是二进制的（即仅包含 0 和 1），且稀疏率达到 99.9%。该方法在词向量分布模型的最新评估方法上表现良好，竞争力强。

    Jun, 2015

  • 使用子词信息丰富单词向量

    本文提出一种基于 skip-gram 模型的新方法，其中每个单词被表示为一组字符 n-grams 的加和。该方法快速、可在大型语料库上快速训练模型，同时可以计算未出现在训练数据中的单词的表示。我们在九种不同的语言上评估了我们的单词表示，通过与最近提出的形态单词表示进行比较，我们发现我们的向量在这些任务上达到了最先进的性能。

    Jul, 2016

  • 贝叶斯段落向量

    本文提出了一种基于神经网络的段落向量的新解释，基于概率论的方法可以通过后验不确定性来在监督学习任务中提升性能，进一步提高了段落向量的研究应用。

    Nov, 2017

  • 后处理对上下文化词表示的影响

    本篇论文探讨了对预训练语言模型中的上下文嵌入层进行后处理的实用性，进一步应用标准化个体神经元激活层、单位长度标准化等方法，发现这些方法能够揭示嵌入层中的重要信息，包括词汇任务和序列分类任务。文章提出了 z-score 标准化作为使用这些方法的一个重要步骤。

    Apr, 2021