Aug, 2023

通过预训练语言模型探测和多层对比学习实现槽位归纳

PDF
TL;DR在本研究中，我们研究了无需显式标注的词级槽位注释的情况下，用于识别 Task-oriented Dialogue Systems 中的槽位边界的槽位感知（Slot Induction）任务，并提出利用无监督预训练语言模型（PLM）探测和对比学习机制，结合可从 Task-oriented Dialogue Systems 中获得的句级意图标签信号，从而在两个自然语言理解基准数据集上展现出有效性，同时能够填补与词级监督模型之间的差距。当推广到新兴意图时，我们的槽位感知目标还提供了改进的槽位标签表示，从而提高了槽位填充任务的性能。
natural language understandingtask-oriented dialogue systemsslot inductionunsupervised pre-trained language modelslot filling
发现论文，激发创造
  • 高效槽位标注

    对话系统中的轮寻标记是其重要组成部分之一，本研究提出了一种轻量级方法，可以在与基于预训练语言模型相当或更好的表现的同时，可训练参数量减少了近 10 倍，使其尤其适用于现实世界中的工业场景。

    Jan, 2024

  • 对话系统的意图 - 槽位自动识别

    该研究提出了自然语言对话系统中自动推断语义意图和关键词槽位的新方法，通过应用 Apriori 算法，设计了一种包含角色标注，概念挖掘，模式挖掘三步的粗略到精细的三步流程，实验表明该方法不仅适用于领域内和领域间的数据，具有良好的适应性，而且大大减少了手动工作。

    Mar, 2021

  • 无监督任务型对话中槽位模式识别

    提出了一种无监督的方法来从未标注的对话语料库中识别 slot schema，通过在特定领域的语言模型和无监督的解析结构的帮助下提取候选槽位，并通过从粗到细的聚类来诱导槽类型，显示了该方法在 MultiWoz 和 SGD 数据集上诱导槽模式的显着性能改进，并证明了诱导槽模式对于对话状态跟踪和响应生成的有效性。

    May, 2022

  • 半监督少样本意图分类与槽位填充

    本文研究如何将对比学习和无监督数据增强应用于少样本学习，以改进自然语言理解中的意图分类和槽位填充任务。在标准的 IC/SF 基准测试中，我们的半监督方法通过在原有监督元学习技术中引入对比损失和数据增强方法，表现出优异的性能，特别是在少样本 IC 问题上表现更为突出。

    Sep, 2021

  • 多层次多粒度对比学习驱动口语理解

    提出了一种多级多粒度的语音语义理解（SLU）框架 MMCL，应用对比学习在话语级、槽位级和词级三个层级上，实现意图和槽位之间的互相引导，通过对公开的多意图 SLU 数据集的实验结果和进一步分析，证明了模型取得了新的最先进结果，在 MixATIS 数据集上的整体准确率相比之前最好的模型提高了 2.6 个百分点。

    May, 2024

  • 低资源语言中的零样本槽位与意图检测

    研究了低资源语言中的意图检测和槽填充任务，测试了最近的大型语言模型编码器 - 解码器模型 mT0 的概括能力，并展示出该模型在意图检测任务上的表现优于基准模型（高达 + 30 F1 分）

    Apr, 2023

  • 通过问答改进和提高对话槽位标注的效率

    本论文研究了将对话任务转换成问答任务，以便利用现有的基于转换器的预训练语言模型解决一些自然语言理解任务中的挑战，特别是对话区域中的槽标记。研究结果表明，QA 调整的预训练语言模型可应用于 SL 任务，并达到了新的性能表现，从而提高了其性能和效率。

    Apr, 2022

  • 联合多种意图检测和槽位填充的受监督对比学习和自蒸馏方法

    我们提出了一种通过双向联合模型以及监督对比学习和自我蒸馏的训练方法来解决多意图检测和槽填充问题，并且实验证明该方法在这两个任务中的表现优于最先进的模型。

    Aug, 2023

  • 基于大型语言模型的语音场景填槽

    该研究探讨了大型语言模型在具有噪声 ASR 转录的槽位填充中的潜在应用，通过上下文学习和任务特定的微调，提出了专门的提示设计和微调方法来提高大型语言模型在具有噪声 ASR 转录的槽位填充中的鲁棒性。此外，还提出了一种线性化知识注入方案，将动态外部知识整合到大型语言模型中。在 SLURP 上进行了实验，评估了各种大型语言模型的性能，包括 GPT-3.5-turbo、GPT-4、LLaMA-13B 和 Vicuna-13B（v1.1 和 v1.5），以及不同的 ASR 错误率。在有限数据设置中，使用所提出的微调方法和 LKI 方案，LLaMA-13B 相对于强 Flan-T5-base 基线系统实现了绝对 8.3％的 SLU-F1 改进。

    Nov, 2023

  • 无需迁移的数据高效多语言槽位标注

    利用 TWOSL 方法，可以跨语言自动抽取并归类任务相关信息，即使缺乏标注数据，也能完成快速且数据高效的多语种对话标记。

    May, 2023