知识库补全：基准反击

May, 2017

Knowledge Base Completion: Baselines Strike Back

Rudolf Kadlec, Ondrej Bajgar, Jan Kleindienst

TL;DR通过重新实现 DistMult 模型，本文发现几乎所有在 FB15k 标准数据集上发布的模型的准确性都可以被我们适当调整基线模型超越，表明最近模型的性能改进可能不是由于架构变化，而是由于超参数调整或不同的训练目标。这应促使未来的研究重新考虑如何评估和报告模型的性能。

Abstract

Many papers have been published on the knowledge base completion task in the past few years. Most of these introduce novel architectures for relation learning that are evaluated on standard datasets such as FB15k and WN18. This paper shows that the accuracy of almost all models publish

knowledge base completion relation learning distmult model hyper-parameter tuning model evaluation

发现论文，激发创造

知识库补全与迁移学习结合

本文提出了一种有效的预训练方法，用于从非结构化文本中提取的事实的规范化和非规范化知识库，通过小数据集上实验证明其相对于已有方法的改进，不依赖于大型预先训练的模型（如 BERT）

Aug, 2021

长尾实体的知识库补全

本文提出了一种基于语言模型的知识库完成方法，针对长尾实体的事实，该方法利用两个不同的语言模型进行候选检索和候选验证和消歧，通过评估我们的方法和不同的基线，引入一个名为 MALT 的基于 Wikidata 的数据集，我们的方法在 F1 中优于所有基线，尤其是在召回率方面有很大提升。

Jun, 2023

基于知识图谱的简单问题回答：基础模型与神经网络模型的效果对比

通过将问题回答问题的问题分解为实体检测，实体链接，关系预测和证据组合，我们使用一些启发式算法，探索了一些简单而强大的基线模型，其中基本的 LSTM 和 GRU 加上一些启发式算法得到的准确率接近最新技术水平。这些结果表明，文献中提出的复杂深度学习技术带来的收益相当有限，并且一些先前的模型表现出了不必要的复杂性。

Dec, 2017

评估语言模型用于知识库补全

本文介绍了一种更具挑战性的基准数据集和方法，用于评估语言模型在无监督知识库补全方面的潜力，并发现了语言模型在补全 Wikidata 中 nativeLanguage、usedLanguage 和 citizenOf 等关系方面表现出强大的泛化能力。

Mar, 2023

mOKB6：一个多语言的开放知识库完整性评测基准

利用跨语言的开放信息提取的最新进展，通过多语言代词消解和保留仅有实体链接三组，构建了第一个含有六种语言的全面的开放式知识库 (mOKB6)，并通过基线模型的实验进行分析。

Nov, 2022

简单基线算法在误信息检测中的出色表现

本研究通过对一系列现代基于转换器的语言模型进行基础调整的表现研究，展示了它们具有竞争力并可以显著超越最新提出的先进方法以及一个简单的工具来检测在未来数据集中需要解决的问题，如潜在数据泄漏和混淆变量。

Apr, 2021

LLM2KB：利用调整指导上下文感知的大型语言模型构建知识库

使用大型语言模型构建知识库的 LLM2KB 系统有不同于基础模型的参数紧凑的注入模型，通过 LoRA 技术调整指令以便使用 Wikipedia 页面上下文实体，并在 LM-KBC 挑战中取得了 0.6185 的平均 F1 得分。

Aug, 2023

关于基准评估的困难性：推荐系统研究

本文证明运行基准测试是困难的，并展示了在两个广泛研究的数据集上的问题，Movielens 10M 的基准测试报告的结果亚优，而对基线的细致设置可以改善结果并超越任何新提出的方法，Netflix Prize 社区需要巨大的努力才能获得简单方法的高质量结果，研究论文的实证研究结果是否可靠需要在经过了研究社区的细致调整的标准基准测试上进行。

May, 2019

语料库与知识库连接中的数据分布瓶颈

语言模型在理解和生成自然语言和形式语言方面已经展示出了显著的能力。然而，它们与大规模知识库等真实环境的整合仍然是一个不发达的领域，影响着语义解析等应用，并导致 “幻觉” 信息的产生。本文是一项实验性研究，旨在揭示语言模型在知识库问答方面所遇到的鲁棒性挑战。研究覆盖了在训练和推理之间具有数据分布不一致的场景，例如对未见领域的泛化，适应各种语言变体，以及在不同数据集之间的可转移性。我们的综合实验揭示出，即使采用了我们提出的数据增强技术，先进的小型和大型语言模型在各个维度上表现出较差的性能。尽管语言模型是一项有前途的技术，但由于数据分布问题，目前形式的鲁棒性在处理复杂环境时是脆弱的且实用性有限。这要求未来在数据收集和语言模型学习范例方面进行进一步的研究。

Sep, 2023

端到端任务导向对话系统中基于约束知识库的蒸馏

论文利用基于余弦相似度的滤波技术以及辅助损失函数构建了一个新的关于任务导向型对话系统和知识库之间的信息筛选模型，并提出了一个解决现有实体 F1 指标正确性问题的新指标 multiset entity F1。实验结果表明该模型比现有的最先进模型表现更好。

Sep, 2021