ILLUMINER: 基于指令调整的大型语言模型作为少量样本意图分类器和插槽填充器
本文研究如何将对比学习和无监督数据增强应用于少样本学习，以改进自然语言理解中的意图分类和槽位填充任务。在标准的 IC/SF 基准测试中，我们的半监督方法通过在原有监督元学习技术中引入对比损失和数据增强方法，表现出优异的性能，特别是在少样本 IC 问题上表现更为突出。
Sep, 2021
在本文中，我们提出了一种新的少样本学习任务 —— 少样本意图分类和槽填充，以在超低资源场景中研究和提高意图分类和槽填充模型的性能，并通过定义 ATS、TOP 和 Snips 三个公共数据集的少样本分割来建立少样本意图分类和槽填充基准。我们表明，既有的元学习算法（MAML）和原型网络算法在这个基准上优于 fine-tuning 基线。同时，预训练的语言模型（例如 ELMo 和 BERT）与这些小样本算法相结合，可以进一步提高模型在此任务上的性能。
Apr, 2020
本文提出了一种新颖的显式联合和监督对比学习框架，实现了少样本意图分类和词槽填充，通过构建 episode，允许不平衡的数据集。实验证明，该框架在三个公共数据集上都表现出色。
Oct, 2021
三种常用方法，即监督微调、监督指令微调和上下文学习，是少样本学习的三种替代方法。本文对这三种方法进行了广泛而系统的比较，测试了六种高低资源语言、三种不同的 NLU 任务以及各种语言和领域设置。观察结果显示，监督指令微调在性能和资源需求方面具有最佳平衡性。此外，本文还分析了预训练 LLM 的目标语言适应性，并发现标准适应方法能在表面上提高目标语言生成能力，但经 ICL 引发的语言理解并未改善且受限，尤其是对于低资源语言而言，得分较低。
Mar, 2024
该研究探讨了大型语言模型在具有噪声 ASR 转录的槽位填充中的潜在应用，通过上下文学习和任务特定的微调，提出了专门的提示设计和微调方法来提高大型语言模型在具有噪声 ASR 转录的槽位填充中的鲁棒性。此外，还提出了一种线性化知识注入方案，将动态外部知识整合到大型语言模型中。在 SLURP 上进行了实验，评估了各种大型语言模型的性能，包括 GPT-3.5-turbo、GPT-4、LLaMA-13B 和 Vicuna-13B（v1.1 和 v1.5），以及不同的 ASR 错误率。在有限数据设置中，使用所提出的微调方法和 LKI 方案，LLaMA-13B 相对于强 Flan-T5-base 基线系统实现了绝对 8.3％的 SLU-F1 改进。
Nov, 2023
SLIMER 是一种新的指导性指令型大型语言模型，通过使用定义和指南的提示改进了零样本命名实体识别，在未曾见过的命名实体标签上表现更好，并且在域外零样本 NER 方面表现与最先进的方法相当，同时训练数据减少。
Jul, 2024
本研究首次演示了使用大规模序列到序列 (seq2seq) 模型的指令微调来控制多语种意图和插槽标记数据生成输出的能力，并提出了 LINGUIST 方法，通过在 AlexaTM 5B 上微调实现对 Intent 分类和插槽标记 (IC+ST) 的注释数据生成。在各种实验数据集上对比了较先进的方法，结果表明在少样本（novel intent）和零样本（cross-lingual）条件下 LINGUIST 均显著优于当前技术水平的方法，实现了对多语种数据生成的高效控制。
Sep, 2022
大语言模型（LLMs）在单个查询中难以遵循一系列指令，从而可能忽略或错误解释其中的一部分，这影响了它们在需要多个中间步骤的复杂问题（例如多语言（翻译然后回答）和多模态（字幕然后回答）任务）中的性能。我们通过使用开源 LLMs（如 LLaMA-2 70B 和 Mixtral-8x7B）进行实证验证。针对当今数据中顺序指令的稀缺性，我们提出了顺序指令调整，这是一种简单而有效的策略，用于自动增加指令调整数据并赋予 LLMs 执行多个顺序指令的能力。通过探索 Alpaca 等现有数据集中的交替指令和各种中间任务，我们发现，顺序指令调整模型在涉及推理、多语言和多模态能力的下游任务中始终优于传统的指令调整基线。为了进一步阐明我们的技术，我们分析了敌对中间文本、未见任务、提示语言的表达、任务数量和提示长度对顺序指令调整的影响。我们希望这种方法能为复杂任务的指令调整开辟新的研究途径。
Mar, 2024
使用上下文学习 (ICL) 来进行数据生成，结合自我指导和山羊驼等技术可以只通过少量人工监督即可训练出强大的对话代理。本论文研究探索了将这些技术应用于更小（大约 10B-40B 参数）且具有宽松许可的语言模型，并提出了新的 ICL 方法来提高指令学习数据的质量和改进指令调优的语言模型性能。
Oct, 2023