ACLSep, 2020

知识密集型语言任务基准测试

PDF
TL;DR介绍了一个以维基百科作为主要知识源的基准测试（KILT），用于验证条件语言任务（包括开放领域问题回答、事实检查、实体链接和插槽填充）的模型。使用共享密集向量索引和 seq2seq 模型，可以实现良好的性能，且具备互操作性，且可重用用于不同任务中。
open-domain question answeringfact checkingentity linkingbenchmarkwikipedia
发现论文，激发创造
  • CorpusBrain：为知识密集型语言任务预训练生成式检索模型

    本文提出了一种基于生成式检索模型的信息检索方法，取代了传统的多步骤索引 - 检索 - 排序流程。该方法能带来显著的简化和端到端的优化，实现了对知识密集语言任务的有效检索和提高，相关检索系统名为 CorpusBrain。

    Aug, 2022

  • KITLM：面向问题回答的领域特定知识整合语言模型

    通过将相关信息融入到语言模型中，我们提出了一种新颖的知识库融合方法 KITLM，显著提高了语言模型的性能，并在问题回答方面取得了 1.5 倍的改进。我们还发布了两个精选数据集，加快了在专业领域中的知识融合研究进展。

    Aug, 2023

  • KoLA：大型语言模型世界知识的精细基准测试

    我们构建了一种基于知识导向的大型语言模型评估基准，并通过使用维基百科和不断收集出现的语料库来确保数据的公正比较，评估 21 个开源和商业大型语言模型的能力和知识相关度。

    Jun, 2023

  • KILM：编码器 - 解码器语言模型中的知识注入

    本文提出一种名为 KILM 的方法，在不修改预训练语言模型结构或添加参数的情况下，通过一种生成式知识补充目标，将实体相关的知识注入到编 - 解码预训练语言模型中，实验结果表明，KILM 可以使模型保持更多的知识并且在零样本学习的情况下取得更好的性能。

    Feb, 2023

  • Text2KGBench：基于本体驱动的文本知识图谱生成基准

    该研究论文介绍了 Text2KGBench 这个基准评估工具，可以评估语言模型的能力，从自然语言文本中生成知识图谱，并根据本体论从文本中提取事实。研究还提供了基准模型的结果和显示了使用语义网和自然语言处理技术，可以进一步提高模型性能的潜力。

    Aug, 2023

  • SINKT: 结构感知的归纳知识追踪模型与大型语言模型

    本文提出了一种基于大型语言模型的结构感知的归纳式知识追踪模型（SINKT），通过引入大型语言模型实现归纳式知识追踪，并构建了概念和问题的异构图，利用语义信息辅助预测。在四个真实世界数据集上的实验证明，SINKT 在 12 个基于转导的知识追踪模型中取得了最先进的性能，并对归纳式知识追踪任务的不同模块进行了探索。

    Jul, 2024

  • CorpusBrain++：一种用于知识密集型语言任务的连续生成预训练框架

    通过建立一个名为 KILT++ 的基准数据集，我们对预先训练的 CorpusBrain 在知识密集语言任务中的应用进行了全面研究，发现在动态检索场景中，CorpusBrain 往往容易发生灾难性遗忘，从而影响检索性能，为了缓解这一问题，我们提出了 CorpusBrain++，这是一个持续生成预训练框架，在传统和生成式信息检索方法方面，经实验证明 CorpusBrain++ 具有显著的有效性和卓越的效率。

    Feb, 2024

  • 语言模型可进行知识追踪：将语言模型与知识追踪任务简单而有效地整合的方法

    利用语言模型集成的知识追踪方法在在线学习中提高了模型性能，并解决了冷启动问题。

    Jun, 2024

  • 使用相关采样的多任务检索增强文本生成

    该研究研究了面向知识密集型任务的检索增强式生成模型的多任务训练。通过利用知识密集型生成的独特属性：查询 - 答案对与知识库中项目的联系，我们提出了一种清理训练集的方法。使用关联性标签的置信度阈值过滤训练样本，以确定是否可以通过知识库回答一对查询 - 答案。我们在 KILT 基准测试的七个组合任务上对单个 FiD 生成器进行训练。实验结果表明，我们简单而有效的方法大大改进了两个强烈不平衡的任务上的竞争基线，并在其余任务上显示出较小的改进或无显着退步。此外，我们表明，与增加的模型容量一样，我们的关联标签采样的多任务训练能够良好地缩放，并在 KILT 任务的五项中取得了最佳结果。

    Jul, 2022

  • KGQUIZ：评估大型语言模型中编码知识的泛化能力

    大型语言模型（LLMs）在知识密集型任务上表现出色，但如何系统评估 LLMs 的知识能力及其在不同领域和任务中的知识泛化能力仍然不为人所知。为此，我们提出了 KGQuiz，这是一个基于知识的全面评估框架，包含了五个任务，从简单到复杂地涵盖了三个领域的知识。通过在 KGQuiz 基准测试中对十种开源和黑盒 LLMs 进行广泛实验，我们发现 LLMs 在简单的知识问答任务中表现出色，但在需要更复杂推理或领域特定事实的设置和上下文中仍然存在挑战。我们将 KGQuiz 视为一个测试平台，用于分析不同领域和任务格式下性能的微妙变化，并最终理解、评估和改进 LLMs 在广泛知识领域和任务中的知识能力。

    Oct, 2023