LLM 的输入扰动问题重新审视：噪声槽填充任务的统一鲁棒性评估框架

Oct, 2023

LLM 的输入扰动问题重新审视：噪声槽填充任务的统一鲁棒性评估框架

Revisit Input Perturbation Problems for LLMs: A Unified Robustness Evaluation Framework for Noisy Slot Filling Task

Guanting Dong, Jinxu Zhao, Tingfeng Hui, Daichi Guo, Wenlong Wan...

TL;DR使用大型语言模型来评估对话理解能力，在输入扰动场景下提高扰动稳健性表现。

Abstract

With the increasing capabilities of large language models (LLMs), these high-performance models have achieved state-of-the-art results on a wide range of natural language processing (NLP) tasks. However, the models' performance on commonly-used benchmark datasets often fails to accurat

large language models robustness evaluation framework dialogue understanding capability input perturbation scenarios perturbation robustness performance

发现论文，激发创造

多集合免疫接种：跨多个挑战集评估模型的稳健性

探讨语言模型对输入扰动的敏感性以及通过不同训练策略来提高模型性能和鲁棒性的方法，通过在 Tabular-NLI 任务中的实例验证了该模型可对抗不同的扰动而不降低准确性。

Nov, 2023

评估神经语言模型对输入干扰的鲁棒性

我们研究了在现实世界中输入文本可能有噪音或不同于 NLP 系统训练数据分布的情景，通过各种类型的字符级和单词级扰动方法来模拟这种情况，发现语言模型对输入扰动非常敏感，即使引入了很小的变化，其性能也会下降，需要进一步改进模型并对扰动输入进行评估以更加真实地了解 NLP 系统的鲁棒性。

Aug, 2021

RUPBench：基于干扰的推理鲁棒性评估大型语言模型的基准测试

通过对大型语言模型（LLMs）进行系统的鲁棒性评估，本研究提供了关于 LLMs 对多样化和噪声输入的处理能力方面的进一步改进的见解。

Jun, 2024

朝向稳健且通用的训练：基于输入扰动的噪声槽填充的实证研究

存在对话场景中的未知输入噪声，已有的受监督槽填充模型在实际应用中性能低下；通过引入一个名为 Noise-SF 的噪声鲁棒性评估数据集，本文的提出的框架可以有效地提高模型的鲁棒性。

Oct, 2023

Noise-BERT：噪音对齐预训练的统一扰动鲁棒框架用于噪音槽位填充任务

提出了一种噪声对齐预训练的统一扰动鲁棒框架 Noise-BERT，用于解决对话系统中输入干扰对槽填充任务的挑战，通过引入对槽蒙版预测和句子噪声判别两个噪声对齐预训练任务，以提高语言模型对准确槽信息和噪声分布的抓取能力，并通过对比学习损失和敌对训练策略来增强模型的鲁棒性。实验结果表明，该方法在性能上优于现有模型，进一步分析证实了其有效性和泛化能力。

Feb, 2024

稳健语言模型的提示扰动一致性学习

大型语言模型对于自然语言处理任务表现出色，但在序列标注任务（如意图分类和槽位填充）中的表现明显落后于判别模型。本文通过 fine-tuning 大型语言模型并使用一种有效的减小性能下降的方法，Prompt Perturbation Consistency Learning（PPCL），成功地提高了序列标注任务的性能，并且使用更少的数据样本击败了数据增强方法。

Feb, 2024

NLPerturbator：研究代码 LLMs 对自然语言变化的稳健性

本文研究了大型语言模型在现实场景中自然语言描述的变化对于代码生成的影响，并提出了一个自动化框架 NLPerturbator 来对不同类别的描述进行扰动，发现扰动后的描述可以显著降低代码生成的性能。研究强调了提高大型语言模型对于现实场景中描述变化的鲁棒性的重要性，以及构建描述时的细致性。

Jun, 2024

基于大型语言模型的语音场景填槽

该研究探讨了大型语言模型在具有噪声 ASR 转录的槽位填充中的潜在应用，通过上下文学习和任务特定的微调，提出了专门的提示设计和微调方法来提高大型语言模型在具有噪声 ASR 转录的槽位填充中的鲁棒性。此外，还提出了一种线性化知识注入方案，将动态外部知识整合到大型语言模型中。在 SLURP 上进行了实验，评估了各种大型语言模型的性能，包括 GPT-3.5-turbo、GPT-4、LLaMA-13B 和 Vicuna-13B（v1.1 和 v1.5），以及不同的 ASR 错误率。在有限数据设置中，使用所提出的微调方法和 LKI 方案，LLaMA-13B 相对于强 Flan-T5-base 基线系统实现了绝对 8.3％的 SLU-F1 改进。

Nov, 2023

面向任务对话的语言理解鲁棒性测试

本研究针对自然语言理解模型在实际对话系统的应用中容易出现的波动和变化问题，提出了一种模型无关的工具箱 LAUG，涵盖语言变体，语音特性和噪声扰动三个方面的四种数据增强方法，揭示了现有模型中的严重鲁棒性问题，提供了一种使用 LAUG 生成的增强数据集来促进语言理解测试鲁棒性的方法。

Dec, 2020

大语言模型对嘈杂指令的弹性

通过人为嵌入 ASR 错误和语法错误等五种常见中断类型，我们的研究揭示了大型语言模型在处理包含错误的文本时表现的韧性，以及纠正噪音指令对其性能产生的显著影响。

Apr, 2024