EMNLPOct, 2023

DemoNSF：一个基于多任务演示的生成框架用于噪音槽填充任务

PDF
TL;DR我们提出了一个名为 DemoNSF 的嘈杂插槽填充的多任务示范生成框架，它引入了三个嘈杂辅助任务：嘈杂恢复 (NR)，随机遮罩 (RM) 和混合辨别 (HD)，以隐式地捕捉不同粒度输入扰动的语义结构信息。在下游主任务中，我们为生成框架设计了一个嘈杂示范构建策略，其在训练和推理期间明确地融入了任务特定信息和扰动分布。对两个基准测试的实验表明，DemoNSF 优于所有基准方法，并实现了强大的泛化能力。进一步的分析为生成框架的实际应用提供了经验指导。
prompt-based generative frameworksmulti-task demonstrationnoisy slot fillingsemantic structural informationgenerative frameworks
发现论文，激发创造
  • 朝向稳健且通用的训练：基于输入扰动的噪声槽填充的实证研究

    存在对话场景中的未知输入噪声，已有的受监督槽填充模型在实际应用中性能低下；通过引入一个名为 Noise-SF 的噪声鲁棒性评估数据集，本文的提出的框架可以有效地提高模型的鲁棒性。

    Oct, 2023

  • Noise-BERT：噪音对齐预训练的统一扰动鲁棒框架用于噪音槽位填充任务

    提出了一种噪声对齐预训练的统一扰动鲁棒框架 Noise-BERT，用于解决对话系统中输入干扰对槽填充任务的挑战，通过引入对槽蒙版预测和句子噪声判别两个噪声对齐预训练任务，以提高语言模型对准确槽信息和噪声分布的抓取能力，并通过对比学习损失和敌对训练策略来增强模型的鲁棒性。实验结果表明，该方法在性能上优于现有模型，进一步分析证实了其有效性和泛化能力。

    Feb, 2024

  • LLM 的输入扰动问题重新审视：噪声槽填充任务的统一鲁棒性评估框架

    使用大型语言模型来评估对话理解能力，在输入扰动场景下提高扰动稳健性表现。

    Oct, 2023

  • PDD：基于提示和动态演示的少样本自然语言推断生成

    在少样本情况下，本文提出了一种带提示和动态演示的语言模型（LM-PDD）来解决自然语言推理生成任务问题，该方法在 SNLI 和 MNLI 数据集上比标准微调模型有着 8% 的平均绝对改进，并且在 13 种自然语言分类任务上表现良好，可以用于数据增强和可控文本生成。

    May, 2022

  • 用于任务型对话系统中发现未知槽类型的新型槽位检测基准

    该论文提出了一种新的任务 ——NSD，即 Novel Slot Detection，旨在通过在域训练数据发现未知或超出域的槽类型来增强对话系统的能力，并且构建了两个公共 NSD 数据集，提出了几个强有力的 NSD 基线，并建立了未来工作的基准。最后，作者对关键挑战进行了详尽的实验和定性分析，并提供了未来方向的新指导。

    May, 2021

  • 基于语音知识的有限标注数据生成式槽位填充

    该研究提出了一种基于知识和语音的生成式和填槽框架 KA2G，用于任务导向性对话系统，它可以通过将其作为文本生成任务打框架来实现语音交互式的稳健且高效的填槽。

    Jul, 2023

  • 具有示例值的强韧的零样本跨领域隙槽填充

    在面对数据量缺乏的多领域任务型对话系统中，本文提出一种结合了槽位值示例及其描述信息的学习方法，从而得到可在不同领域中迁移的槽位语义表示，并在两个多领域数据集上实现了比最先进方法更好的效果表现。

    Jun, 2019

  • 基于大型语言模型的语音场景填槽

    该研究探讨了大型语言模型在具有噪声 ASR 转录的槽位填充中的潜在应用，通过上下文学习和任务特定的微调，提出了专门的提示设计和微调方法来提高大型语言模型在具有噪声 ASR 转录的槽位填充中的鲁棒性。此外，还提出了一种线性化知识注入方案，将动态外部知识整合到大型语言模型中。在 SLURP 上进行了实验，评估了各种大型语言模型的性能，包括 GPT-3.5-turbo、GPT-4、LLaMA-13B 和 Vicuna-13B（v1.1 和 v1.5），以及不同的 ASR 错误率。在有限数据设置中，使用所提出的微调方法和 LKI 方案，LLaMA-13B 相对于强 Flan-T5-base 基线系统实现了绝对 8.3％的 SLU-F1 改进。

    Nov, 2023

  • 使用数据增强和噪声通道模型将基于文档的对话系统适应为口语对话

    本文介绍了我们在第十届对话系统技术挑战赛第二轨知识引导的任务导向对话建模中的提交内容。在适应 ASR 转录的噪声方面探索不同的方法来使得模型更加健壮，并采用噪声通道模型来适应口语交流的风格。我们的最佳系统在挑战的自动和人工评估中分别排名第一和第三。

    Dec, 2021

  • 从沙子中筛选更多的金子：利用有噪声的自我检索生成优化开放域对话训练

    通过引入 BERTScore 提高证据质量，构建 retrieval-generation 训练框架，利用信息丰富但杂乱无章的对话数据，能使模型生成更好的响应，甚至比扩大培训集带来更好的性能提升。

    Jan, 2022