COLINGAug, 2022

PSSAT: 一种扰动鲁棒槽位填充的扰动语义结构感知传递方法

PDF
TL;DR通过传递感知扰动下的语义结构训练鲁棒性槽填充模型，可从上游培训程序中学习语境语义结构和词分布，防止模型记忆实体和语境的固有模式，并通过一致性处理过滤生成数据，以提高槽填充模型的鲁棒性。实验结果表明，这种方法一致优于以往的基本方法，具有良好的泛化性能。
slot filling modelsperturbed semantic structuremlm-based training strategiesunsupervised language perturbation corpusrobustness
发现论文，激发创造
  • 基于语言丰富和上下文感知的零样本槽位填充

    提出了一种新的零射击槽填充神经模型 LEONA，通过利用语言特征、命名实体识别提示、预训练语言模型的上下文嵌入，从而获得领域无关的上下文感知表示，通过三步骤 fine-tunes 产生独立于槽的标签，并使用可推广的上下文感知语句 - 槽相似特征将其上下文化以产生每个单词的针对特定槽的预测，总体而言，在 SNIPS、ATIS、MultiWOZ 和 SGD 数据集上，从未见过的领域平均表现优于 SOTA 模型 17.52％、22.15％、17.42％ 和 17.95％

    Jan, 2021

  • 利用上下文信息优化槽填充

    本文提出了一种新的方法，即在表示级别和任务特定（即标签）级别上融合上下文信息以区分上下文对单词表示和单词标签的影响，在三个基准数据集上的实验显示，我们的模型比现有模型更加有效，在 Slot Filling 任务中实现了三个基准数据集的新的最优结果。

    Nov, 2019

  • LLM 的输入扰动问题重新审视：噪声槽填充任务的统一鲁棒性评估框架

    使用大型语言模型来评估对话理解能力，在输入扰动场景下提高扰动稳健性表现。

    Oct, 2023

  • 零样本槽位填充的强健检索增强生成

    本文提出了一种使用 hard negatives 和强健的训练程序增强检索生成模型而进行零样本槽填充的新方法，该方法在 T-REx 和 zsRE 槽填充数据集上都有较大的改进，并在 KILT 排行榜上排名首位。此外，通过零 / 少样本学习的组合，我们在 TACRED 数据集的新变体上演示了我们系统的适应能力，并发布了源代码和预训练模型。

    Aug, 2021

  • 基于依存结构的注意力神经网络提高槽位填充性能

    本文提出了一种新的 DNN 体系结构，用于对一定实体的属性值进行插槽填充，该体系结构结合了正则化依赖图、局部注意力和全局注意力等策略，实验结果表明此框架在关系抽取和插槽填充方面均优于现有方法。

    Jul, 2017

  • 针对槽位填充的词汇外问题的再探：一种综合对比框架，配有多级数据增强

    本文介绍了一种基于多层数据扩增的 OOV 坚韧性槽填充模型，通过从词和槽的角度解决 OOV 问题。实验表明，该模型比现有模型和之前的最佳模型在 OOV 词和槽方面表现更出色。

    Feb, 2023

  • 基于大型语言模型的语音场景填槽

    该研究探讨了大型语言模型在具有噪声 ASR 转录的槽位填充中的潜在应用，通过上下文学习和任务特定的微调，提出了专门的提示设计和微调方法来提高大型语言模型在具有噪声 ASR 转录的槽位填充中的鲁棒性。此外，还提出了一种线性化知识注入方案，将动态外部知识整合到大型语言模型中。在 SLURP 上进行了实验，评估了各种大型语言模型的性能，包括 GPT-3.5-turbo、GPT-4、LLaMA-13B 和 Vicuna-13B（v1.1 和 v1.5），以及不同的 ASR 错误率。在有限数据设置中，使用所提出的微调方法和 LKI 方案，LLaMA-13B 相对于强 Flan-T5-base 基线系统实现了绝对 8.3％的 SLU-F1 改进。

    Nov, 2023

  • 通过预训练语言模型探测和多层对比学习实现槽位归纳

    在本研究中，我们研究了无需显式标注的词级槽位注释的情况下，用于识别 Task-oriented Dialogue Systems 中的槽位边界的槽位感知（Slot Induction）任务，并提出利用无监督预训练语言模型（PLM）探测和对比学习机制，结合可从 Task-oriented Dialogue Systems 中获得的句级意图标签信号，从而在两个自然语言理解基准数据集上展现出有效性，同时能够填补与词级监督模型之间的差距。当推广到新兴意图时，我们的槽位感知目标还提供了改进的槽位标签表示，从而提高了槽位填充任务的性能。

    Aug, 2023

  • Noise-BERT：噪音对齐预训练的统一扰动鲁棒框架用于噪音槽位填充任务

    提出了一种噪声对齐预训练的统一扰动鲁棒框架 Noise-BERT，用于解决对话系统中输入干扰对槽填充任务的挑战，通过引入对槽蒙版预测和句子噪声判别两个噪声对齐预训练任务，以提高语言模型对准确槽信息和噪声分布的抓取能力，并通过对比学习损失和敌对训练策略来增强模型的鲁棒性。实验结果表明，该方法在性能上优于现有模型，进一步分析证实了其有效性和泛化能力。

    Feb, 2024

  • 稳健语言模型的提示扰动一致性学习

    大型语言模型对于自然语言处理任务表现出色，但在序列标注任务（如意图分类和槽位填充）中的表现明显落后于判别模型。本文通过 fine-tuning 大型语言模型并使用一种有效的减小性能下降的方法，Prompt Perturbation Consistency Learning（PPCL），成功地提高了序列标注任务的性能，并且使用更少的数据样本击败了数据增强方法。

    Feb, 2024