Oct, 2023

朝向稳健且通用的训练：基于输入扰动的噪声槽填充的实证研究

PDF
TL;DR存在对话场景中的未知输入噪声，已有的受监督槽填充模型在实际应用中性能低下；通过引入一个名为 Noise-SF 的噪声鲁棒性评估数据集，本文的提出的框架可以有效地提高模型的鲁棒性。
slot filling modelssupervisednoise-robust methodsnoise-robustness evaluation datasetempirical evaluation experiments
发现论文，激发创造
  • LLM 的输入扰动问题重新审视：噪声槽填充任务的统一鲁棒性评估框架

    使用大型语言模型来评估对话理解能力，在输入扰动场景下提高扰动稳健性表现。

    Oct, 2023

  • Noise-BERT：噪音对齐预训练的统一扰动鲁棒框架用于噪音槽位填充任务

    提出了一种噪声对齐预训练的统一扰动鲁棒框架 Noise-BERT，用于解决对话系统中输入干扰对槽填充任务的挑战，通过引入对槽蒙版预测和句子噪声判别两个噪声对齐预训练任务，以提高语言模型对准确槽信息和噪声分布的抓取能力，并通过对比学习损失和敌对训练策略来增强模型的鲁棒性。实验结果表明，该方法在性能上优于现有模型，进一步分析证实了其有效性和泛化能力。

    Feb, 2024

  • DemoNSF：一个基于多任务演示的生成框架用于噪音槽填充任务

    我们提出了一个名为 DemoNSF 的嘈杂插槽填充的多任务示范生成框架，它引入了三个嘈杂辅助任务：嘈杂恢复 (NR)，随机遮罩 (RM) 和混合辨别 (HD)，以隐式地捕捉不同粒度输入扰动的语义结构信息。在下游主任务中，我们为生成框架设计了一个嘈杂示范构建策略，其在训练和推理期间明确地融入了任务特定信息和扰动分布。对两个基准测试的实验表明，DemoNSF 优于所有基准方法，并实现了强大的泛化能力。进一步的分析为生成框架的实际应用提供了经验指导。

    Oct, 2023

  • 面向目标对话系统中意图分类和槽位标记对现实世界噪声的鲁棒性研究

    通过研究七种噪声类型对话系统中意图分类和槽位标记模型在真实环境中出现的问题，我们设计了一种增加数据的方法来提高模型性能，使得我们能够训练出一个在各种噪声现象下都具有鲁棒性的 IC/SL 模型。

    Apr, 2021

  • 一种可扩展的嘈杂语音数据集和在线主观测试框架

    本研究提出了一种可以按任意讲话者数量、噪声类型和语音信噪比水平进行横向扩展的 MS-SNSD 有噪语音数据集，在这个基础上，研究者们推出了开源的评估方法，通过客观质量衡量标准和主观意见评分相互印证提升了 语音增强算法的性能。

    Sep, 2019

  • 具有示例值的强韧的零样本跨领域隙槽填充

    在面对数据量缺乏的多领域任务型对话系统中，本文提出一种结合了槽位值示例及其描述信息的学习方法，从而得到可在不同领域中迁移的槽位语义表示，并在两个多领域数据集上实现了比最先进方法更好的效果表现。

    Jun, 2019

  • 基于依存结构的注意力神经网络提高槽位填充性能

    本文提出了一种新的 DNN 体系结构，用于对一定实体的属性值进行插槽填充，该体系结构结合了正则化依赖图、局部注意力和全局注意力等策略，实验结果表明此框架在关系抽取和插槽填充方面均优于现有方法。

    Jul, 2017

  • 零样本槽位填充的强健检索增强生成

    本文提出了一种使用 hard negatives 和强健的训练程序增强检索生成模型而进行零样本槽填充的新方法，该方法在 T-REx 和 zsRE 槽填充数据集上都有较大的改进，并在 KILT 排行榜上排名首位。此外，通过零 / 少样本学习的组合，我们在 TACRED 数据集的新变体上演示了我们系统的适应能力，并发布了源代码和预训练模型。

    Aug, 2021

  • NoiseBench: 命名实体识别中真实标签噪声对性能的基准测试

    提出了一个包含 6 种真实噪音的 NER 基准，证明真实噪音比模拟噪音更具挑战性，并展示当前最先进的噪音鲁棒学习模型远未达到其理论可达的上限。

    May, 2024

  • 基于大型语言模型的语音场景填槽

    该研究探讨了大型语言模型在具有噪声 ASR 转录的槽位填充中的潜在应用，通过上下文学习和任务特定的微调，提出了专门的提示设计和微调方法来提高大型语言模型在具有噪声 ASR 转录的槽位填充中的鲁棒性。此外，还提出了一种线性化知识注入方案，将动态外部知识整合到大型语言模型中。在 SLURP 上进行了实验，评估了各种大型语言模型的性能，包括 GPT-3.5-turbo、GPT-4、LLaMA-13B 和 Vicuna-13B（v1.1 和 v1.5），以及不同的 ASR 错误率。在有限数据设置中，使用所提出的微调方法和 LKI 方案，LLaMA-13B 相对于强 Flan-T5-base 基线系统实现了绝对 8.3％的 SLU-F1 改进。

    Nov, 2023