将迁移学习与上下文学习结合，利用黑盒预训练语言模型进行零样本知识库问答

Nov, 2023

将迁移学习与上下文学习结合，利用黑盒预训练语言模型进行零样本知识库问答

Combining Transfer Learning with In-context Learning using Blackbox LLMs for Zero-shot Knowledge Base Question Answering

PDF

Mayur Patidar, Avinash Singh, Riya Sawhney, Indrajit Bhattacharya, Mausam

TL;DR我们提出了将零样本迁移学习和黑盒大型语言模型应用于知识库问答问题的组合方法，并通过实验结果表明，这种组合方法在不同阶段均带来显著的改进，并且在有限标记数据和整个大型训练数据集的情况下都优于现有方法。

Abstract

We address the zero-shot transfer learning setting for the knowledge base question answering (KBQA) problem, where a large volume of labeled training data is available for the source domain, but no such labeled examples are available for the target domain. Transfer learning for KBQA ma

zero-shot transfer learning knowledge base question answering (kbqa)black-box large language models (bllms)supervised kbqa models in-context learning

发现论文，激发创造

在上下文学习中进行知识库问答的选择

该研究提出了一种基于 LLMs 的 McL-KBQA 框架，通过基于 ICL 的多选项将 LLMs 的 Few-shot 能力纳入 KBQA 方法，从而提高了 QA 任务的有效性和泛化性能。在两个 KBQA 数据集上的实验结果表明，McL-KBQA 具有竞争性的性能和强大的泛化性能。研究者期望从 LLMs 的角度探索 QA 任务的新方法，并获得规范和正确的答案和强大的泛化性。

May, 2023

基于零样本知识生成的基于知识的视觉问答

基于预训练语言模型的知识生成方法在知识型视觉问答方面表现优于以往零样本方法，生成的知识普遍相关且有帮助。

Feb, 2024

基于上下文的代码风格学习方法在基于知识的问题回答中的应用

通过在大型语言模型中使用代码风格的上下文学习方法，从而解决了知识基础问题回答中逻辑格式错误的问题，并在少样本设置下实现了 WebQSP、GrailQA 和 GraphQ 等主流数据集上的最新技术水平。

Sep, 2023

交互式 KBQA：大型语言模型的知识库问答多轮交互

通过与知识库进行直接交互生成逻辑形式，我们引入了 Interactive-KBQA 框架来解决知识库问答领域的问题，该框架包括三种通用 API 用于知识库交互，通过步骤推理过程注释数据集，展示了我们模型的适应性和潜力，并在低资源场景中以极少的示例达到了优秀的结果。

Feb, 2024

一种基于学习后推理模型的知识库问答通用化方法

KBLLaMA 研究知识库问答系统的学习 - 推理框架，向大型语言模型注入新的知识以提高其泛化能力，在各种问答任务中表现出最先进的性能。

Jun, 2024

基于知识的大型语言模型的高效问答系统

Coke 是一种新颖的成本有效的 KBQA 策略，它通过将 LLMs 和 KGMs 相结合，作为一个定制的多臂赌博问题来最小化对 LLMs 的调用，从而在有限的预算内实现成本节约并提高准确性。

May, 2024

LLM2KB：利用调整指导上下文感知的大型语言模型构建知识库

使用大型语言模型构建知识库的 LLM2KB 系统有不同于基础模型的参数紧凑的注入模型，通过 LoRA 技术调整指令以便使用 Wikipedia 页面上下文实体，并在 LM-KBC 挑战中取得了 0.6185 的平均 F1 得分。

Aug, 2023

知识库问答的少样本上下文学习

提出了 KB-BINDER，该方法利用 Codex 等大型语言模型生成逻辑形式作为问题的草案，并通过 BM25 得分匹配进行知识库组合，从而能够在统一框架下处理不同 KBQA 数据集中的问题，同时利用 few-shot in-context 学习实现高准确率，实验结果表明，此方法表现强劲，并且在 GraphQA 和 3-hop MetaQA 数据集上甚至胜过现有训练模型，可以作为未来研究的重要基线。

May, 2023

FlexKBQA: 一个灵活的 LLM 驱动框架用于少样本知识库问答

FlexKBQA 是一种利用大型语言模型解决少样本知识库问答任务的方法，通过自动化算法从知识库中生成多样的程序，利用语言模型将其转化为自然语言问题。该方法还引入了执行引导自训练的策略来缓解合成数据和真实用户问题之间的分布差异，并利用大型语言模型的推理能力来增强整个框架。在 GrailQA、WebQSP 和 KQA Pro 上的实验证明，FlexKBQA 在少样本甚至零样本情景下，只需少量注释即可达到令人印象深刻的结果，超过了所有之前的基准，并且接近于监督模型的性能，相对于完全监督模型性能达到 93%。我们认为 FlexKBQA 在大型和轻量级模型的更好集成方面代表了重要进展。

Aug, 2023

合并生成和检索知识的开放领域问答

基于知识兼容性匹配的 COMBO 框架能够有效地利用两种信息源，改善开放领域的问答性能，并在四项测试问答基准中有三个的竞争对手表现更好，特别在存在较高程度知识冲突的场景中表现出更大的功效。

Oct, 2023