基于上下文的代码风格学习方法在基于知识的问题回答中的应用

Sep, 2023

基于上下文的代码风格学习方法在基于知识的问题回答中的应用

Code-Style In-Context Learning for Knowledge-Based Question Answering

Zhijie Nie, Richong Zhang, Zhongyuan Wang, Xudong Liu

TL;DR通过在大型语言模型中使用代码风格的上下文学习方法，从而解决了知识基础问题回答中逻辑格式错误的问题，并在少样本设置下实现了 WebQSP、GrailQA 和 GraphQ 等主流数据集上的最新技术水平。

Abstract

Current methods for knowledge-based question answering (KBQA) usually rely on complex training techniques and model frameworks, leading to many limitations in practical applications. Recently, the emergence of in-contex

knowledge-based question answering in-context learning large language models semantic parsing code-style in-context learning

发现论文，激发创造

在上下文学习中进行知识库问答的选择

该研究提出了一种基于 LLMs 的 McL-KBQA 框架，通过基于 ICL 的多选项将 LLMs 的 Few-shot 能力纳入 KBQA 方法，从而提高了 QA 任务的有效性和泛化性能。在两个 KBQA 数据集上的实验结果表明，McL-KBQA 具有竞争性的性能和强大的泛化性能。研究者期望从 LLMs 的角度探索 QA 任务的新方法，并获得规范和正确的答案和强大的泛化性。

May, 2023

利用代码提高语境学习的语义解析

通过使用通用编程语言和结构化领域描述来改善语义解析的效果，能够显著提高准确性，并缩小了易于解析的数据集和复杂数据集之间的性能差距。

Nov, 2023

增强上下文学习的事实知识

通过注入事实知识、选择高相关性示例，并基于先前知识校准预测结果，提出了一种称为 KICT 的知识内外训练框架，以进一步改善 In-Context Learning (ICL) 的性能。在多个文本分类和问题回答任务上的实验证明，KICT 明显优于强基线模型，分别在文本分类和问题回答任务上的准确性提高了超过 13％和 7％。

Sep, 2023

知识库问答的上下文模式理解方法

通过 In-Context Schema Understanding（ICSU）方法，利用大型语言模型（LLMs）作为知识库问题回答（KBQA）任务的语义解析器，借助上下文学习机制生成 SPARQL 查询，并通过四种检索策略来提高语言模型的表现。

Oct, 2023

MMHQA-ICL: 文本、表格与图像的混合问答的多模态上下文学习

多模态问题回答（MMHQA）是一个具有挑战性的任务，我们提出了一个 MMHQA-ICL 框架，包括强大的异构数据检索器和图像描述模块，并首次使用了端到端 LLM 提示方法。实验结果表明，我们的框架在多模态问题回答上表现出色，优于所有基准线和使用完整数据集训练的方法，达到了多模态 QA 数据集在少样本设置下的最新成果。

Sep, 2023

关于现场学习的调查

本文概述了大型语言模型的新范式 —— 上下文学习，并探讨了训练策略和演示设计策略等高级技术，以及上下文学习所面临的挑战和未来方向。

Dec, 2022

通过提示强化上下文学习唤醒大型语言模型以进行知识密集型任务

提出了一种新的学习范式 —— 提示增强的上下文学习（Hint-enhanced In-Context Learning，HICL），通过从示范中提取与查询相关的知识，以更明确的方式提示大型语言模型（LLM），用于开放域问答，从而提高性能。

Nov, 2023

背景下的学习表现具有普适性，但并非始终稳定：以语法为例

在本研究中，我们通过对语法敏感性的测试案例来研究通过上下文学习监督的大型语言模型的鲁棒性，并调查模型的预训练语料库组成和监督方法对模型变异性的影响。我们发现，相较于模型大小，模型在这一基本语言现象上的变异性更多地受到预训练语料库组成和监督方法的影响。同时，我们还发现，在代码上进行预训练的模型更好地推广，并在更大程度上受到思维链提示的益处。

Nov, 2023

概念感知训练提高语言模型的上下文学习能力

文中介绍了一种名为 CoAT 的优化方法，利用模拟训练数据来帮助语言模型更好的利用其背景知识。使用 CoAT 训练的 In-context learners 性能表现良好，达到了在多任务训练中更大规模模型的性能水平。

May, 2023

走向更统一的上下文视觉理解

我们提出了一种新的具有多模态输出功能的视觉理解的上下文学习框架，通过将文本和视觉提示量化和嵌入到统一的表示空间中，并采用仅具有解码器的稀疏 Transformer 架构在其上执行生成建模。实验结果表明，我们的模型在统一的多模态管线中实现了与专门模型和先前上下文学习基准模型相竞争的性能。总体而言，我们的研究在统一多模态上下文学习方面迈出了进一步的一步。

Dec, 2023