ACLApr, 2018

Extrofitting: 用语义词典丰富词汇表示及其向量空间

PDF
TL;DR本文提出了一种名为 extrofitting 的后处理方法，使用语义词典丰富单词表示和其向量空间，包括向所有单词向量上扩展 1 个或多个维度，填充代表值并将语义知识传输到这些扩展的维度。此外，采用线性判别分析进行向量空间映射，得到最终的词向量表示。实验证明，该方法在一些单词相似度任务上胜过 Faruqui 的后调方法，并对其维度、词汇表大小等进行了进一步的分析。
extrofittingsemantic lexiconsword vectorssynonymslinear discriminant analysis
发现论文，激发创造
  • 词向量扩展改造

    本文提出了一种新的 Word embeddings 改进技术：extrofitting，它可以在不使用外部语义词典的情况下提高 word similarity 任务的表现，并且使用 deep extrofitting 可进一步提升表现。同时，我们证明了这种改进方法可以提高文本分类任务的效果。

    Aug, 2018

  • 将词向量改进应用于语义词典

    本文提出了一种基于语义词典的关系信息来改进词向量表示的方法，并在多种语言的标准词汇语义评估任务中获得了显著的改进，其方法超越了以往词向量训练算法中融入语义词典的技术。

    Nov, 2014

  • 后专业化：对词向量进行改装以处理词汇资源中未见过的词语

    该论文提出了一种基于神经网络的后置特化方法，能够更新分布式词向量空间中所有单词并且在内在单词上保留有用的语言知识，该方法对各种后处理模型都有显著的改进，跨越了三种语言的应用。

    May, 2018

  • 利用 Context-to-Vector 和 Graph Retrofitting 改进词嵌入

    通过将上下文信息与传统静态嵌入相结合，以及使用预先的同义词知识和加权向量分布来提高词嵌入的效果。

    Oct, 2022

  • 词汇语义增强的神经词向量

    通过深度度量学习进行后处理可以提高神经语言模型中语义相似度推断的效果，并将层次拟合用于建模 IS-A 层次中的语义相似性细微差别。

    Oct, 2022

  • 将词向量拟合到语言约束条件上的计数器

    该研究提出了一种注入反义词和同义词约束条件以提高向量对语义相似性判断能力的新型 Counter-fitting 方法。将该方法应用于公开预训练的词向量，可在 SimLex-999 数据集上达到新的最高性能水平。研究还展示了如何使用该方法来调整词向量空间以用于下游的对话状态追踪任务，使结果在不同的对话领域都得到了可靠的改进。

    Mar, 2016

  • 从词汇资源中提取的知识增强单词嵌入

    提出了一种用于词向量表示的语义专业化的有效方法，使用传统的词嵌入并应用专业化方法以更好地捕捉单词之间的语义关系，结合来自丰富词汇资源（如 BabelNet）的外部知识，以及使用基于对抗式神经网络及 Wasserstein 距离的后处理专业化方法，证明在两个任务上（单词相似性和对话状态跟踪）实现了大于现有方法的改进。

    May, 2020

  • Morph-fitting：用简单的特定语言规则微调词向量空间

    提出了一种新颖的基于词形的约束方法，通过使用简单的语言特定规则来改进分布向量空间的语义质量，这种方法可以提高低频词估计的准确性，并在解决语言理解任务的长尾现象方面取得显著的效果。

    Jun, 2017

  • 利用文本和图形向量表示来丰富分类学

    本文研究领域为知识图谱，提出了一种基于图结构表示与深度学习的分类体系扩展方法，实验结果表明该方法在多个数据集上具有优异的效果。

    Jan, 2022

  • 通过对齐异构词汇语义空间实现未见词表示

    本文提出了一种利用词典等词汇资源，采用图嵌入和跨语言向量空间转换技术，为未见过的单词诱导嵌入的方法，对多个基准测试进行了优化，表现出一致的性能提升。

    Nov, 2018