ACLNov, 2019

语言模型的知识如何得知？

PDF
TL;DR本文提出使用基于挖掘和释义的自动化方法来生成高质量且多样化的提示语，并使用模型集成的方法来改进语言模型（LM）中的关系知识的查询。通过 LAMA 基准测试表明，该方法将 LM 的准确性从 31.1% 提升至 39.6%，为 LM 的知识提供了更严格的下限估计。
language modelsknowledge estimationquery promptsmining-based methodensemble methods
发现论文，激发创造
  • AutoPrompt: 使用自动生成的提示从语言模型中引导知识

    利用自动化方法生成的 AutoPrompt，我们展示了预训练语言模型在自然语言推理、情感分析和关系提取方面的潜在能力，以及自动生成的提示方法是现有探究方法的一个可行的无参数替代方法。

    Oct, 2020

  • 提示作为探究：利用语言模型进行知识库构建

    本文提出了一种名为 ProP 的方法，它利用 GPT-3 这个大型语言模型进行知识库构建任务，结合多种提示技巧，结果表明手动提示的重要性、变长回答集的有效用处以及实体别名字典的效用等，从而获得了较高的预测质量。

    Aug, 2022

  • 预训练语言模型中的知识激发对自然语言理解的影响

    本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。

    Oct, 2022

  • 学会提问：使用软提示混合查询语言模型

    本文探讨了使用渐进式的梯度下降机制为先前的预训练语言模型 Fine-Tuning 提供含监听词库的句子造句模式，以从中提取模型对于文本特征的认知，并使用软词向量进行任务综合，将此方式与传统的任务方法进行对比，显示其在任务中的巨大性能提升，而随机初始化甚至可以代替详细的初始化方式，因此这种知识的提取可以廉价地实现。

    Apr, 2021

  • 支持半自主任务学习的语言模型提示改进

    本文探讨利用语言模型 (LLMs) 作为知识源，辅助 agent 学习新任务的能力。通过使用构建提示词（或 “暗示”），研究什么样的响应既合理，又可以满足 Agent 任务上下文。研究结果表明，在线 agent 任务学习可以从 LLMs 获取可操作的任务知识。

    Sep, 2022

  • 语言模型作为知识库的综述

    本文回顾了最近关于使用预先训练的自然语言处理语言模型作为知识库的文献，提出了应该具备的一些方面，探讨了这种方法相较于传统知识库的优势在于无需人工监督进行的无监督学习。

    Apr, 2022

  • 知识提示：通过柔性提示将世界知识注入语言模型

    本文提出使用软提示的方法将世界知识应用到大型自然语言模型中，通过自监督学习在知识库数据上训练软提示，得到的软知识提示可以被用于提高语言模型在不同知识密集型任务中的性能。

    Oct, 2022

  • 知识增强语言模型为零 - shot 知识图谱问答做准备

    提出了一种通过直接在 LLM 的输入中添加知识以增强其内部存储的知识的方法，称为 KAPING，通过在知识图上检索相关事实来改善零 - shot 闭书问答任务性能，经验证跨多个大小不同的 LLM，基于事实的知识增强方法相对于相关零 - shot 基线的平均表现提高达 48%。

    Jun, 2023

  • 语言模型能成为医学知识库吗？

    通过创建生物医学知识三元组的基准测试 BioLAMA，研究了预训练语言模型是否可用作具有生物医学特定领域知识的知识库。发现在近期提出的探测方法下，生物医学语言模型可以在检索生物医学知识方面取得 18.51% 的精确度，但多数预测与无主题的提示模板高度相关，因此限制了它们作为特定领域知识库的能力。

    Sep, 2021

  • 了解 LLMs 不知道的内容：一种简单有效的自我检测方法

    提出了一种新颖的自我检测方法，通过扩展问题的文本表达并收集相应的答案，检测大型语言模型（LLMs）是否会产生虚假回答，证明了该方法在 LLM 效果上的有效性。

    Oct, 2023