使用 LLMs 进行上下文话语解析的少样本适应性

ACLSep, 2023

使用 LLMs 进行上下文话语解析的少样本适应性

Few-Shot Adaptation for Parsing Contextual Utterances with LLMs

Kevin Lin, Patrick Xia, Hao Fang

TL;DR该研究评估基于大型语言模型的语义解析器处理上下文话语的能力，并考察了四种在对话式语义解析中适应上下文话语的范式的比较，研究表明 Rewrite-then-Parse 范式在综合考虑解析准确性、标注成本和错误类型时具有最大潜力。

Abstract

We evaluate the ability of semantic parsers based on large language models (LLMs) to handle contextual utterances. In real-world settings, there typically exists only a limited number of annotated →

semantic parsers contextual utterances training examples conversational semantic parsing rewrite-then-parse

发现论文，激发创造

受限语言模型实现少样本语义分析器

利用大型预处理语言模型作为少型语义解析器，将输入 paraphrase 成类似英语的控制子语言，通过很少的数据和代码快速批量生成语义解析器，表现出令人惊讶的有效性，远超过基线方法。

Apr, 2021

查找并调整：一种一次性的语义解析器

本文提出了一种语义解析器，通过适应已见过的语句的逻辑形式而不是从头开始生成逻辑形式来学习解析未知语句的一般策略，同时提出了一种数据生成策略来构建不同领域的语句 - 逻辑形式对，结果显示相较于基准测试，单次解析的改善高达 68.8%。

Oct, 2019

有限上下文对成分句法分析的限制

本文探讨了当前神经语法学习方法对句法结构的表征方式，以及限制神经语法学习方法的表征能力的主要因素，并利用概率上下文无关文法为基础，说明上下文对神经语法学习方法进行语法分析决策时的关键作用。

Jun, 2021

多语言任务导向对话的情境语义解析

通过机器翻译自动翻译对话数据集并使用新的上下文语义解析模型，该方法在多个数据集上提高了准确性并创建了高准确度的多语言对话数据集。

Nov, 2021

新谓词的少样本语义解析

本研究探讨了少样本学习条件下语义解析的问题，提出了应用元学习方法进行模型训练、用对齐统计规则化注意力得分、在预训练中应用平滑技术等方法，显著提高了模型准确度。

Jan, 2021

利用训练于代码上的语言模型进行少样本语义解析

本文研究使用具备上下文的例句，将语义解析问题转化为规范语句的近义词问题，旨在改善大型语言模型在少量训练数据下的性能，并探究在自然语言映射为代码的语义解析任务中，使用预训练模型 OpenAI Codex 能否表现更好。实验发现，相比等效的 GPT-3 模型，Codex 在这种任务中表现更佳，尤其是在像 Overnight 和 SMCalFlow 这样的数据集中。

Dec, 2021

测量和缓解上下文学习中的约束违规：针对 utterance-to-API 语义解析

本文研究在可执行任务导向的语义解析中，针对大量语言模型的限制，提出了两种有效的措施：语义检索演示和 API 意识约束解码，可以减少约束违规并改善生成的 API 代码的质量。

May, 2023

神经语义解析器的鲁棒性

本文通过实证研究语义解析在对抗攻击下的鲁棒性，提出了一种可扩展的方法来构建鲁棒性测试集，并回答了五个相关问题，检测了现有语义解析器在鲁棒性测试集上的表现，并评估了数据增强的效果。

Feb, 2021

我们距离有效的语境建模还有多远？关于上下文语义解析的探索性研究

本文对语境建模方法在真实语义解析中的应用进行了探究，并提出了一种基于语法解码的语义解析器，适用于各种复杂领域。我们评估了 13 种语境建模方法，分析了最常见的语境现象，发现最佳模型在两个大型跨领域数据集上都取得了最先进的性能表现。

Feb, 2020

通过模型投影获得更简化的上下文依赖逻辑形式

本文探讨了从话语到语义的上下文相关映射的学习问题，通过将全模型拆分为操作于逻辑形式等价类的简化模型来解决大规模逻辑表达式的挑战，研究并开发了一种新的从左到右的语义解析器，收集了三个上下文相关语义分析数据集。

Jun, 2016