LLMs 中可靠的潜在知识估计：与上下文学习相比，基于提示的事实知识提取

Apr, 2024

LLMs 中可靠的潜在知识估计：与上下文学习相比，基于提示的事实知识提取

Towards Reliable Latent Knowledge Estimation in LLMs: In-Context Learning vs. Prompting Based Factual Knowledge Extraction

PDF

Qinyuan Wu, Mohammad Aflah Khan, Soumi Das, Vedant Nanda, Bishwamittra Ghosh...

TL;DR我们提出了一种估计大型语言模型中嵌入的潜在知识的方法，该方法利用了大型语言模型的上下文学习能力来估计模型对存储在知识库中的事实的了解程度，并且我们的知识估计器避免了以前的提示式方法中存在的可靠性问题，且在概念上更简单且更易于应用，我们证明它可以揭示出更多嵌入在大型语言模型中的潜在知识。我们还研究了不同设计选择对基于上下文学习的知识估计性能的影响。通过所提出的估计器，我们对各种开源大型语言模型（如 OPT，Pythia，Llama (2)，Mistral，Gemma 等）在来自 Wikidata 知识库的大量关系和事实上的事实知识进行了大规模评估。我们观察到不同模型家族和不同大小的模型之间的事实知识存在差异，某些关系普遍比其他关系更为熟知，但是模型在知识上存在差异，以及基本模型和其微调模型之间的知识差异。

Abstract

We propose an approach for estimating the latent knowledge embedded inside large language models (LLMs). We leverage the in-context learning

latent knowledge large language models in-context learning knowledge estimation factual knowledge

发现论文，激发创造

增强上下文学习的事实知识

通过注入事实知识、选择高相关性示例，并基于先前知识校准预测结果，提出了一种称为 KICT 的知识内外训练框架，以进一步改善 In-Context Learning (ICL) 的性能。在多个文本分类和问题回答任务上的实验证明，KICT 明显优于强基线模型，分别在文本分类和问题回答任务上的准确性提高了超过 13％和 7％。

Sep, 2023

通过提示强化上下文学习唤醒大型语言模型以进行知识密集型任务

提出了一种新的学习范式 —— 提示增强的上下文学习（Hint-enhanced In-Context Learning，HICL），通过从示范中提取与查询相关的知识，以更明确的方式提示大型语言模型（LLM），用于开放域问答，从而提高性能。

Nov, 2023

我们是否可以通过上下文学习来编辑事实知识？

通过在不更新参数的情况下展示上下文，利用 in-context learning (editing) 的策略可以达到和梯度下降方法相当的 GPT 大型语言模型知识编辑效果。

May, 2023

语言模型中学习事实的关键因素是什么？多元化多提示数据的多方面知识探测

大型语言模型 (LLMs) 面临处理事实知识的问题，本研究通过知识探测框架 BELIEF (-ICL)，从多个角度评估编码器型和解码器型大型语言模型对事实知识的理解能力，并利用多样的提示数据集 MyriadLAMA 进行可靠的评估，揭示了大型语言模型在学习事实方面的关键因素和基于提示的知识探测的局限性。

Jun, 2024

大型语言模型的上下文忠实提示

本文探讨了大型语言模型在知识获取任务中通过设计启示策略，特别是意见为基础的提示和反事实演示，有效提高了上下文的真实性，并在三个数据集上进行实验，结果表明在上下文中的忠实度有了显著提高。

Mar, 2023

上下文学习下没有先验知识的时间知识图预测

本文研究利用大型语言模型和上下文学习技术进行时间知识图谱（TKG）预测，并证明可在不需要显式重点捕获结构和时态信息的情况下，LLM 与针对 TKG 预测深度设计和训练的最先进的 TKG 模型表现相当，而且本文发现使用数值索引而非实体 / 关系名称可以实现接近相同的性能，且证明上下文学习可以帮助 LLMs 学习历史上不规律的模式，从而超越基于共同或最新信息的简单预测。

May, 2023

探究上下文学习行为：与监督学习的比较

大型语言模型（LLMs）在上下文学习（ICL）方面展示了显着的能力，在没有明确预训练的情况下，仅通过少量的训练示例学习新任务。然而，尽管 LLMs 获得了成功，对于 ICL 如何从给定的提示中学习知识却知之甚少。在本文中，为了对 ICL 的学习行为有所了解，我们通过 ICL 和监督学习 (SL) 分别使用相同的演示示例训练相同的 LLMs，并研究它们在一系列分类任务中在标签扰动（即嘈杂标签和标签不平衡）下的表现。通过广泛的实验证明，我们首先发现黄金标签对下游上下文性能有显著影响，尤其是对于大型语言模型；然而，对于所有模型大小，不平衡标签对 ICL 的影响较小。其次，通过与 SL 进行比较，我们实证表明 ICL 对标签扰动的敏感性较低，并且随着模型大小的增加，ICL 逐渐获得与 SL 相当的性能。

Jul, 2023

具有大型语言模型的语境中感知歧义学习

通过对三个文本分类任务的广泛实验，我们发现在选择演示示例时，不仅选择语义上相似的演示示例有益，还选择那些有助于解决测试示例周围固有标签模糊性的演示示例。有趣的是，我们发现包括之前被 LLM 错误分类并且与测试示例的决策边界相近的演示示例能够带来最大的性能提升。

Sep, 2023

在大型语言模型中测量和修改实体知识

本文提出了信息理论量化大型语言模型中现实知识的方法，评估了其与现有排名法的精度，并探究了两种前沿知识安装方法在特定情况下的限制，最后通过应用在上下文学习中，证明了该方法可以用来提取 LLM 中未学习和错学的事实。

Jun, 2023

有监督的知识提升大语言模型在上下文学习中的表现

通过提示工程，大型语言模型（LLMs）展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而，在自然语言理解和问题回答方面，提高 LLMs 的泛化能力和准确性的关键挑战仍未得到充分探索。

Dec, 2023