ACLMay, 2023

语言模型能否从描述中学习新的实体？注入知识传播中的挑战

PDF
TL;DR该研究探讨预训练语言模型进行知识注入和推理的能力，发现目前的更新方法存在学习效果局限性，但将实体定义放在上下文中可提高性能，表明参数更新方法的知识注入还有很大的潜力。
pre-trained language modelsknowledge injectioninferenceentity definitionsparameter-updating approaches
发现论文，激发创造
  • 通过蒸馏将知识更新传递给 LM

    文章介绍了建立语言模型的知识库的更新方法，通过上下文蒸馏的方式对实体进行继承知识，以良好的效果进行更新，而不会影响到性能。

    Jun, 2023

  • Entity Cloze By Date: LMs 关于未见过的实体的知识

    本研究提出了一个分析 LMs 推理新实体的框架，并通过使用涵盖实体知识和时间索引的数据集，在句子中评估了 LMs 的困惑度。结果表明，对实体有更多信息的模型在此基准测试中的困惑度更低，但对新实体做出推理仍然很困难。

    May, 2022

  • 知识注入框架再探

    大型语言模型 (LLMs) 在全球范围内取得了重大影响，然而如何利用外部知识使这些模型更好地适应垂直领域特定任务的问题仍未完全解决。本文针对此问题进行了深入研究，提出了一种基于剪枝和净化外部知识库的方法，该方法能够克服注入知识时的常识问题，并进一步推动领域自适应语言模型的性能界限。

    Nov, 2023

  • 知识图谱融合用于语言模型微调

    探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

    Jun, 2022

  • 微调还是检索？LLMs 中知识注入的比较

    比较 fine-tuning 和 retrieval-augmented generation (RAG) 两种方法，发现 RAG 在不同主题的知识密集型任务中始终优于 fine-tuning，并且 LLMs 在 fine-tuning 中难以学习新的事实信息，通过在训练过程中暴露它们于相同事实的多个变体可以缓解这个问题。

    Dec, 2023

  • 利用背景提示将知识注入大型语言模型

    提出了一种通过从输入文本中生成提示来实现知识注入的简单而通用的方法，从而增强大型语言模型在特定领域的自然语言处理任务中的性能，并通过对微调后的大型语言模型进行探测评估来证明该方法的有效性。

    Mar, 2024

  • 通过减轻曝光偏差来更新大型语言模型的自我信息

    本文对 LLMs 的自我信息更新任务进行了全面的研究，并评估了其持续微调方法。作者发现，普通的持续微调方法可能存在暴露偏差问题。因此，他们提出了一种有效的方法来缓解这个问题，进一步开发了新闻文章数据集来评估信息更新。实验结果表明，所提出的方法能显著提高事实一致性分数（0 到 1）0.16，对与新信息不直接相关的指令的性能几乎没有影响。

    May, 2023

  • 大型语言模型是否能理解内容和传播路径以检测虚假信息：一个实证研究

    大型语言模型在虚假信息检测任务中的性能研究显示，多样的启发式方式和多个实例学习策略可以提高大型语言模型在文本和传播结构理解方面的检测性能，突出了大型语言模型检测虚假信息的潜在能力。

    Nov, 2023

  • 预训练语言模型的即插即用知识注入

    本研究提出了一种新的知识注入方法 -- 插拔式知识注入，并探究了一种新的注入方法 ——map-tuning，并通过三种不同的 NLP 任务验证了 map-tuning 方法的有效性，再次表明了插拔式知识注入的优越性。

    May, 2023

  • 预训练的语言模型是否学习到了法人实体类型？

    研究了语言模型在领域特定知识的获取和法律知识评估任务，比较了不同类型、长度和语义或语法信号的实体，不同语言模型预训练语料库和架构对于实体类型的性能影响，并发现 Llama2 在优化提示模板后表现良好，法律导向的语言模型显示性能不一致，存在的问题包括多令牌实体以及法律子领域实体的识别，此外 Llama2 在识别句法信号上存在缺陷，相较于基于 BERT 的架构缺陷更为显著。

    Oct, 2023