Oct, 2023

I$^2$KD-SLU：一种用于零样本跨语言口语语言理解的内外知识蒸馏框架

PDF
TL;DR我们提出了一种用于零样本跨语言口语理解的 Intra-Inter 知识蒸馏框架（I$^2$KD-SLU），该框架模拟了意图和槽位之间的相互引导，在 MultiATIS++ 数据集上显著提高了性能并取得了新的最优结果。
spoken language understandingzero-shot cross-lingualknowledge distillationintent detectionslot filling
发现论文，激发创造
  • 多层次多粒度对比学习驱动口语理解

    提出了一种多级多粒度的语音语义理解（SLU）框架 MMCL，应用对比学习在话语级、槽位级和词级三个层级上，实现意图和槽位之间的互相引导，通过对公开的多意图 SLU 数据集的实验结果和进一步分析，证明了模型取得了新的最先进结果，在 MixATIS 数据集上的整体准确率相比之前最好的模型提高了 2.6 个百分点。

    May, 2024

  • 面向跨语言口语理解的标签感知多层对比学习

    本研究提出一个基于对话、槽位和单词水平的对比学习框架来显式对齐跨语言口语理解中隐含语义结构的多语种混合方法，通过引入硬负样本和标签关联联合模型，取得了两个零 - shot 跨语言口语理解的基准数据集中显著的性能改进。

    May, 2022

  • 一种新的双向关联模型，用于联合意图检测和槽位填充

    本文提出了一种新颖的双向互相关联的联合意图检测和槽填充模型，通过引入 SF-ID 网络和全新的迭代机制来增强两个任务之间的双向关联，实验结果表明，在 ATIS 和 Snips 数据集上，与现有最先进的模型相比，本模型在句子级语义框架准确度上相对提高了 3.79% 和 5.42%。

    Jun, 2019

  • 从遮蔽语言建模到翻译：非英语辅助任务提高零样本口语理解

    本文提出了跨语言意图和槽位检测的新基准，称为 xSID，并探讨了使用联合学习方法和机器翻译转移学习来处理数据稀缺的情况。结果表明，对于槽位填充任务，联合学习任务加遮掩语言模型是有效的，而机器翻译转移学习对于意图分类任务效果最好。

    May, 2021

  • 基于提示的多意图口语理解统一框架

    本研究提出了 Prompt-based Spoken Language Understanding（PromptSLU）框架，通过提供通用的预训练 Seq2Seq 模型，将意图检测（ID）和槽位填充（SF）两个子任务统一为同一形式。实验结果表明，该框架在两个公共数据集上表现优于现有的一些最先进模型。

    Oct, 2022

  • 用于联合槽填充和意图检测的交互式 Transformer

    本研究将 Co-Interactive Transformer 模型应用于意图检测和填槽的交互学习任务，通过构建双向联接，考虑两个相关任务的交叉影响，并在 SNIPS 和 ATIS 数据集上获得了最先进的性能表现，成功捕获了相互交互的知识。

    Oct, 2020

  • 低资源语言下跨语言知识蒸馏的答案句子选择

    本文提出了一种名为 Cross-Lingual Knowledge Distillation (CLKD) 的方法，使用强大的英文 Answer Sentence Selection（AS2）模型作为老师进行跨语言知识蒸馏，可用于训练对于标注数据有限的低资源语言的 AS2 模型。作者还介绍了两个多语言数据集进行了实证研究，通过多次实验验证，CLKD 方法在不用标注数据的情况下，可与使用相同数量标注数据的监督微调方法相媲美，具有潜力为低资源语言提供更强大的 AS2 模型，同时这两个多语言数据集能够在 AS2 领域进行更广泛的研究。

    May, 2023

  • 多意图口语理解的协同引导

    提出了一种名为 Co-guiding Net 的新模型，采用两阶段框架实现了两个任务之间的相互引导，并且通过异构图注意网络有效地表示语义节点和标签节点之间的关系，并进一步利用对比学习提高模型性能。

    Nov, 2023

  • 端到端逐步增量式语音理解的序列级知识蒸馏

    该研究提出了三种知识蒸馏方法，通过应用于声音编码器 (audio-KD) 和解码器 (tok-KD 和 seq-KD) 以解决神经网络在非稳态环境下学习新概念的问题，特别应用于连续学习等领域的口语理解问题。结果表明，seq-KD 可以显著提高性能，并与 audio-KD 的结合进一步降低了平均 WER 并增强了实体预测指标。

    May, 2023

  • 大型语言模型的双空间知识蒸馏

    通过提出双空间知识蒸馏 (DSKD) 框架，我们解决了当前白盒知识蒸馏框架中不同模型之间输出空间差异导致的问题，并进一步开发了跨模型注意力机制，支持具有不同词汇的任意两个大语言模型之间的知识蒸馏。实验证明，DSKD 在各种距离函数下显著优于当前白盒知识蒸馏框架，并且超过了现有的具有不同词汇的大语言模型的其他知识蒸馏方法。

    Jun, 2024