Feb, 2024

Noise-BERT：噪音对齐预训练的统一扰动鲁棒框架用于噪音槽位填充任务

PDF
TL;DR提出了一种噪声对齐预训练的统一扰动鲁棒框架 Noise-BERT，用于解决对话系统中输入干扰对槽填充任务的挑战，通过引入对槽蒙版预测和句子噪声判别两个噪声对齐预训练任务，以提高语言模型对准确槽信息和噪声分布的抓取能力，并通过对比学习损失和敌对训练策略来增强模型的鲁棒性。实验结果表明，该方法在性能上优于现有模型，进一步分析证实了其有效性和泛化能力。
dialogue systeminput perturbationsslot fillingpre-trainingadversarial attack
发现论文，激发创造
  • LLM 的输入扰动问题重新审视：噪声槽填充任务的统一鲁棒性评估框架

    使用大型语言模型来评估对话理解能力，在输入扰动场景下提高扰动稳健性表现。

    Oct, 2023

  • 朝向稳健且通用的训练：基于输入扰动的噪声槽填充的实证研究

    存在对话场景中的未知输入噪声，已有的受监督槽填充模型在实际应用中性能低下；通过引入一个名为 Noise-SF 的噪声鲁棒性评估数据集，本文的提出的框架可以有效地提高模型的鲁棒性。

    Oct, 2023

  • BERTwich: 扩展 BERT 模型用于建模方言化和嘈杂文本

    本文介绍了一种新颖的方法，即在 BERT 的编码器堆栈中插入额外的编码器层，用于对嘈杂文本进行遮蔽语言建模，以促进对方言文本的零转移能力，并减少单词与其噪声对应词之间的嵌入空间距离。

    Oct, 2023

  • BERT 用于联合意图分类和槽填充

    本文提出了一种基于 BERT 的联合意图分类和槽填充模型，实验证明相对于基于注意力的循环神经网络模型和槽门控模型，在几个公共基准数据集上，我们的模型在意图分类准确性、槽填充 F1 值和句级语义框架精度方面显著提高。

    Feb, 2019

  • BERT 在标签噪音下的鲁棒性研究：关于文本分类中学习噪音标签的研究

    对于使用现代 NLP 模型（如 BERT）进行文本分类任务时，在各种噪声类型下，现有的噪声处理方法并不总能提高性能，并且有可能会降低性能，这表明需要进一步研究标签噪声。

    Apr, 2022

  • 借助字符级噪声对 BERT 进行微调，实现零 - shot 迁移到方言和密切相关的语言

    本文介绍了一种方法，通过在 fine-tuning BERT 模型时引入不同形式的字符级噪音，实现了对不同方言和语言的零 - shot 跨语言迁移。作者在三个句子级分类任务上 fine-tune BERT，并在若干未知的方言和语言上进行了评估。他们发现，在特定条件下，字符级噪音可以成为跨语言转移的极其有效的催化剂。特别是当任务依赖表层提示且源 - 目标跨语言语言对具有相对较高的词汇重叠，并且平均具有较短（即含义较少）的未知令牌时，fine-tuning 过程中引入字符级噪音可以帮助更好地完成任务。

    Mar, 2023

  • 面向目标对话系统中意图分类和槽位标记对现实世界噪声的鲁棒性研究

    通过研究七种噪声类型对话系统中意图分类和槽位标记模型在真实环境中出现的问题，我们设计了一种增加数据的方法来提高模型性能，使得我们能够训练出一个在各种噪声现象下都具有鲁棒性的 IC/SL 模型。

    Apr, 2021

  • PSSAT: 一种扰动鲁棒槽位填充的扰动语义结构感知传递方法

    通过传递感知扰动下的语义结构训练鲁棒性槽填充模型，可从上游培训程序中学习语境语义结构和词分布，防止模型记忆实体和语境的固有模式，并通过一致性处理过滤生成数据，以提高槽填充模型的鲁棒性。实验结果表明，这种方法一致优于以往的基本方法，具有良好的泛化性能。

    Aug, 2022

  • 构建强韧的神经机器翻译系统

    本文提出采用对抗性稳定性训练来提高神经机器翻译 (NMT) 模型的鲁棒性，通过使编码器和解码器在输入和其扰动版本的情况下行为相似，进而提高模型的容错性。在汉英、英德和英法翻译任务中的实验结果表明，该方法不仅可以显著提高强 NMT 系统的翻译品质，而且可以增强 NMT 模型的鲁棒性。

    May, 2018

  • 预训练语音模型的噪声干扰攻击和防御

    对训练得到的语音模型和预训练的语音编码器进行噪声掩码攻击，恢复私密信息并研究对抗措施。

    Apr, 2024