ACLOct, 2022

利用知识图谱和潜在语义插补法更新科学词嵌入

PDF
TL;DR本文介绍了如何使用 LSI 模型从最新的知识图谱中插入诸如罕见术语、新兴术语之类的领域特定词汇向量，以生成可靠的罕见和 OOV 术语的嵌入向量。以医学为例，使用 MeSH 知识图谱来插入生成生物医学术语嵌入向量，无需重新训练即可评估所得嵌入模型的可靠性。
scientific textsscientific word embedding modelsknowledge graphsmesh knowledge graphbiomedical terminology
发现论文，激发创造
  • 通过潜在语义插补增强领域词嵌入

    本研究提出了一种名为潜在语义填补（LSI）的方法，利用图论提取亲和性空间内实体的潜在流形结构，结合非负最小二乘法和幂迭代法，将外部知识转移入语义空间，生成并填补语义空间中低频词的可靠嵌入向量，优化词嵌入效果，进而提升下游自然语言处理任务的性能。实验验证了该方法在分类和语言模型任务中的显著优于多种常用词嵌入方法，且结果在不同参数下稳定一致。

    May, 2019

  • 利用知识图谱将领域知识融入医疗自然语言推理

    本文研究如何将医学语言模型（BioELMo）的结构与医学任务中可用的知识图谱（UMLS）进行融合，通过实验验证结论表明融合策略不仅仅是可以改善 MedNLI 数据集上的 BioELMo 模型的基线表现，而且在医疗领域的任务中也导致了最前沿的结果。

    Aug, 2019

  • 利用图卷积网络中的基础语言信息进行词汇外插补

    该研究提出了使用知识图谱的方法来进行嵌入补全，与目前常用的向量空间属性或子词信息不同，最终在多个领域的任务上显示其可以提高单词的表示，如在 Card-660 任务中使用 GloVe 嵌入，我们的方法将 Pearson 和 Spearman 相关系数分别提高了 11% 和 17.8%。

    Jun, 2019

  • 通过对齐异构词汇语义空间实现未见词表示

    本文提出了一种利用词典等词汇资源，采用图嵌入和跨语言向量空间转换技术，为未见过的单词诱导嵌入的方法，对多个基准测试进行了优化，表现出一致的性能提升。

    Nov, 2018

  • 利用语义桥梁学习罕见词汇的表示

    本文提出一种方法学习语言的词汇，并使用图嵌入技术和跨语言向量空间映射方法结合本体源和语料库来提高现有词向量的覆盖范围以及加强其词汇知识。所提出的方法在 Rare Word Similarity dataset 上表现出 10% 的性能提升。

    Jul, 2017

  • 结合对比学习和知识图谱嵌入开发意大利语医学词嵌入

    通过对比学习和知识图谱嵌入的结合，尝试提高意大利医学领域中可用的词嵌入，从而提高医学术语之间的语义相似性，并获得了比起始模型显著的性能提升。

    Nov, 2022

  • 从词汇资源中提取的知识增强单词嵌入

    提出了一种用于词向量表示的语义专业化的有效方法，使用传统的词嵌入并应用专业化方法以更好地捕捉单词之间的语义关系，结合来自丰富词汇资源（如 BabelNet）的外部知识，以及使用基于对抗式神经网络及 Wasserstein 距离的后处理专业化方法，证明在两个任务上（单词相似性和对话状态跟踪）实现了大于现有方法的改进。

    May, 2020

  • 弥合差距：有效映射 PubMed 查询与文档的语义相似度度量

    提出了一种基于 Word Mover's Distance 计算单词间距离的查询 - 文档相似度测量方法，利用神经词嵌入在检索无直接匹配的情况下发现相关词，并将其与 BM25 相结合，结果在 TREC Genomics 数据上平均精度平均提高 12％，在来自 PubMed 搜索日志的真实数据集上，结合学习排序的方法，正确率提高了 25％，表明该方法与 BM25 的结合可以产生更出色的性能。

    Aug, 2016

  • 关于知识增强数据对词向量嵌入的影响

    本文研究了一种通过数据增强注入语言知识以改善单词嵌入的方法，并对其对词嵌入的内在特征和下游文本分类任务的影响进行了系统评估。

    Oct, 2020

  • LTSG: 潜在主题 Skip-Gram 用于相互学习主题模型和向量表示

    本文提出一种能够在同一语料库内相互改进的主题模型和向量表示相互改进的算法框架，采用 EM 算法框架对主题模型和向量表示进行迭代优化，实验结果表明，该模型优于各种 NLP 任务的最新方法。

    Feb, 2017