ACLMay, 2020

从词汇资源中提取的知识增强单词嵌入

PDF
TL;DR提出了一种用于词向量表示的语义专业化的有效方法，使用传统的词嵌入并应用专业化方法以更好地捕捉单词之间的语义关系，结合来自丰富词汇资源（如 BabelNet）的外部知识，以及使用基于对抗式神经网络及 Wasserstein 距离的后处理专业化方法，证明在两个任务上（单词相似性和对话状态跟踪）实现了大于现有方法的改进。
semantic specializationword vector representationslexical resourcesadversarial neural networkdialog state tracking
发现论文，激发创造
  • 利用词汇资源学习多关系数据中实体嵌入

    提出了一种使用词汇资源的描述和分布式语义语料的相关信息的简单方法，以更好地初始化关系模型的训练，在 WordNet 数据集上表现出了显着的最新性能。

    May, 2016

  • 对抗传播与零样本跨语言转移的词向量专业化

    本文提出了一种基于对抗训练的后加工特化方法，通过整合外部词汇知识到整个分布式语义空间中，利用资源中出现的词作为训练样例，结合标准 L2 距离和对抗损失，学习全局特化函数，表现良好并提高了词相似度、对话状态跟踪和词汇简化等任务的效果，并提出了一种零射击专业化的跨语言转移方法。

    Sep, 2018

  • 后专业化：对词向量进行改装以处理词汇资源中未见过的词语

    该论文提出了一种基于神经网络的后置特化方法，能够更新分布式词向量空间中所有单词并且在内在单词上保留有用的语言知识，该方法对各种后处理模型都有显著的改进，跨越了三种语言的应用。

    May, 2018

  • 利用语义桥梁学习罕见词汇的表示

    本文提出一种方法学习语言的词汇，并使用图嵌入技术和跨语言向量空间映射方法结合本体源和语料库来提高现有词向量的覆盖范围以及加强其词汇知识。所提出的方法在 Rare Word Similarity dataset 上表现出 10% 的性能提升。

    Jul, 2017

  • 通过对齐异构词汇语义空间实现未见词表示

    本文提出了一种利用词典等词汇资源，采用图嵌入和跨语言向量空间转换技术，为未见过的单词诱导嵌入的方法，对多个基准测试进行了优化，表现出一致的性能提升。

    Nov, 2018

  • 词汇语义增强的神经词向量

    通过深度度量学习进行后处理可以提高神经语言模型中语义相似度推断的效果，并将层次拟合用于建模 IS-A 层次中的语义相似性细微差别。

    Oct, 2022

  • Word2Vec 和词典在领域特定语义相似度方面的协同联合

    本研究引入了一个领域特定的语义相似度方法，该方法是由 word2vec 和基于词典的语义相似度方法的协同联盟所创建的，并证明了该方法优于通用语料库和域特定语料库训练的词嵌入方法，还证明了词形归并可以提高词嵌入方法的性能。

    Jun, 2017

  • 通过语义词汇资源增强现代监督式词义消歧模型

    通过在现代监督式词义消歧模型中将语义特征引入分类器并考虑使用语义词典结构来增加训练数据，本文提出了一种有效的增强模型。通过研究不同类型的语义特征与本地上下文的交互作用，本文将所提出的模型扩展为一种新颖的多层架构，实验证明这种方法可以与现有的最新方法相比较。

    Feb, 2024

  • 将词向量改进应用于语义词典

    本文提出了一种基于语义词典的关系信息来改进词向量表示的方法，并在多种语言的标准词汇语义评估任务中获得了显著的改进，其方法超越了以往词向量训练算法中融入语义词典的技术。

    Nov, 2014

  • 针对词级语义相似性的无监督预训练模型专业化

    本研究将外部词汇知识与 BERT 模型的多任务学习相结合，提出了一种 “词汇知情” 的 BERT（LIBERT）模型，比起原始 BERT 在多项语言任务和词汇简化任务中均有显著提高。

    Sep, 2019