知识图谱嵌入的快速线性模型

Oct, 2017

Fast Linear Model for Knowledge Graph Embeddings

Armand Joulin, Edouard Grave, Piotr Bojanowski, Maximilian Nickel, Tomas Mikolov

TL;DR本文表明，基于词袋 (BoW) 的简单基线学习到出人意料的知识图谱嵌入。通过将知识库补全和问题回答转化为监督分类问题，我们观察到建模实体和关系的共现可以在几分钟的培训时间内获得最先进的性能，使用开源库 fastText。

Abstract

This paper shows that a simple baseline based on a Bag-of-Words (BoW) representation learns surprisingly good knowledge graph embeddings. By casting knowledge base completion and question answering as supervised classif

knowledge graph embeddings bag-of-words representation supervised classification co-occurrences fasttext

发现论文，激发创造

知识图谱补全模型的开放环境扩展

提出了一种新颖的嵌入式知识图谱完整模型扩展，使其能够执行开放世界链接预测，该模型结合从文字语料库中学习的词嵌入和从知识图谱中学习的常规链接预测模型，通过独立训练这两个模型并进行变换，将实体名称和描述的嵌入映射到基于图的嵌入空间中，实验结果表明我们的方法在多个数据集上都取得了有竞争力的效果且无需对图和文本进行联合训练。

Jun, 2019

基于 N-gram 的文本低维度表示方法用于文档分类

本文提出了一种使用 n-grams 的 BOW 模型，通过调用 Skip-gram 模型快速获得单词向量表示并将其平均以获得 n-grams 的表征，从而在低维度空间中为所有 n-grams 维护了相同的语义信息，使用 K-means 聚类将语义概念分组以大大减少特征数量，最终展示了在情感分类任务中胜过 LSA 和 LDA，与传统的 BOW 模型相比，具有更少的特征但类似的结果。

Dec, 2014

利用嵌入式知识图谱进行链接预测

本文介绍了基于嵌入式知识图谱网络的知识库完成方法，通过使用端到端反向传播训练，可以将大型知识库压缩成优化的版本，并在知识库完成基准测试中取得了最新的最佳结果。

Nov, 2016

用嵌入模型连接语言和知识库进行关系提取

本文提出一种新方法用于从自由文本中提取关系，该方法通过从知识库中学习单词和实体关系的低维嵌入来联合使用文本和现有知识信息，实验证明该方法能够有效地利用大量 Freebase 数据 (4M 实体、23k 关系) 提供的额外信息来改善仅依赖于文本特征的现有方法。

Jul, 2013

学习概念嵌入以实现高效的概念密集化

本文介绍一种利用神经嵌入模型生成连续概念向量并以此聚合生成完全连续性 Bag of Concepts 表示方法的技术，用以解决目前 Bag of Concepts 表示方法低概念重合度所导致的相似度分数偏低问题，并在实验中展示了在实体语义关联度、概念分类和无数据文件分类等领域上相对于其他模型的卓越性能。

Feb, 2017

大型语言模型与知识图谱相遇：回答事实性问题

提出一种使用知识图谱扩展预训练文本到文本语言模型的方法，通过从知识图谱中提取子图，使用基于 Transformer 的模型线性化提取的子图并重新对答案候选项进行排序，使得预训练文本到文本语言模型的 Hits@1 评分提升 4-6%。

Oct, 2023

文本分类中的词袋、图形和序列：质疑文本图和广泛 MLP 的必要性和惊人强度

本研究发现，在归纳式文本分类中，使用 Bag-of-Words 的宽 MLP 模型优于最新的基于图的模型 TextGCN 和 HeteGCN，并与 HyperGAT 相当，而基于序列的 BERT 和 DistilBERT 模型优于所有最新的模型。

Sep, 2021

通过记忆推理：最近邻居知识图嵌入

本文提出了通过预训练语言模型和 k 近邻的知识图谱嵌入新方法 kNN-KGE，使得 rare 或 emerging entities 更容易被显式地存储，而非隐式存在于模型参数中，实验证明该方法可提高归纳式和传导式链接预测结果，并在只有很少的三元组的低资源情况下获得更好的性能。

Jan, 2022

基于图神经网络的非知识库实体知识迁移

本文介绍了一种利用图神经网络计算 OOBK 实体嵌入的知识库完整性完成（KBC）模型，并在 WordNet 数据集上实现了最先进的性能。

Jun, 2017

超越词嵌入：从大规模知识库中学习实体和概念表示

本文提出了一种新颖而简单的技术，将来自不同结构的两个大型知识库中的概念知识（Wikipedia 和 Probase）整合起来，学习概念表示，并在两个任务上评估了概念嵌入模型：类比推理和概念分类，并展示了无监督环境中用于神经语义分析的参数识别的案例研究，相对于 gazetteer 和正则表达式等繁琐易出错的方法，我们的无监督方法具有更好的泛化能力。

Jan, 2018