Sep, 2022

从流畅性检测到意图检测和槽填充

PDF
TL;DR第一篇针对意图检测和槽位填充下游任务影响的流利性检测的实证研究，通过越南语进行实证，结果显示：（1）口吃会对下游的意图检测和槽位填充任务产生负面影响；（2）在口吃的情况下，预训练的多语言语言模型 XLM-R 比预训练的单语言模型 PhoBERT 能够更好地提高意图检测和槽位填充的性能。
disfluency detectionintent detectionslot fillingvietnamese languagepre-trained language models
发现论文，激发创造
  • 越南文意图检测和槽填充

    本文提出了以越南语为主题的第一个公共意图检测和插槽填充数据集，同时提出了一种联合模型用于意图检测和插槽填充，并通过将意图上下文信息显式地纳入插槽填充中来扩展最新的 JointBERT+CRF 模型，实验结果表明，所提出的模型明显优于 JointBERT+CRF，并公开发布数据集和模型实现。

    Apr, 2021

  • 利用大型语言模型作为发错流产生器提升发错流检测

    利用大型语言模型（LLM）生成多样和更真实的句子作为数据增强，结合不确定性感知的数据过滤方法，提高失语检测性能，进一步增强成本效益。

    Mar, 2024

  • 自然语言理解中联合意图检测和槽位填充模型调查

    本文综述了自然语言理解中重要的两个任务：目的意图分类和词槽填充。特别是联合模型已经成为达到最佳性能的方法，并揭示了两个任务之间的强关系。文章描述了意图分类和词槽填充在趋势、方法、问题、数据集、评估指标、性能、共享任务等方面的研究，其中包括不同维度的表格总结过去的研究。

    Jan, 2021

  • 多任务自监督学习用于消除语注检测

    本文针对训练数据短缺的问题，提出了使用自监督方法结合无标注数据构建伪训练数据进行预训练，并利用有标注的训练数据进行微调的方法，达到了使用少量数据在英语 Switchboard 数据集上与之前使用全数据进行训练的系统表现相当的结果。使用全数据进行训练时，我们的方法可将误差降低 21%。

    Aug, 2019

  • 一种新的双向关联模型，用于联合意图检测和槽位填充

    本文提出了一种新颖的双向互相关联的联合意图检测和槽填充模型，通过引入 SF-ID 网络和全新的迭代机制来增强两个任务之间的双向关联，实验结果表明，在 ATIS 和 Snips 数据集上，与现有最先进的模型相比，本模型在句子级语义框架准确度上相对提高了 3.79% 和 5.42%。

    Jun, 2019

  • 无标记数据和小型 BERT 模型的瑕疵探测

    本文研究了基于 BERT 架构的小型、快速、本地化模型的流畅检测技术，探讨了自我训练、领域自适应和数据增强等方法对性能的影响，发现对这些小型模型来说，这些策略具有更加明显的影响。

    Apr, 2021

  • 大型语言模型用于口吃语音的错断检测

    通过将自动语音识别系统生成的假设候选项和从音频编码模型提取的声学表示输入到大型语言模型（LLMs）中，我们将多标签异味检测任务作为一种语言建模问题进行了研究，并在包含英语和德语结巴语音的三个数据集上对系统进行了优化，以预测异味标签，实验结果表明我们的系统有效地结合声学和词法信息，在多标签结巴检测任务上取得了有竞争力的结果。

    Jun, 2024

  • 低资源语言中的零样本槽位与意图检测

    研究了低资源语言中的意图检测和槽填充任务，测试了最近的大型语言模型编码器 - 解码器模型 mT0 的概括能力，并展示出该模型在意图检测任务上的表现优于基准模型（高达 + 30 F1 分）

    Apr, 2023

  • 基于 BERT 的联合多语言意图检测与槽位填充模型

    本文介绍了 Bert-Joint，一种利用多语言联合文本分类和序列标注框架的模型，旨在利用 “无递归” 模型成功应用于口语自然语言理解的任务上，并通过实验验证了该模型在英语基准数据集上表现出了强大的性能，处理少量的标注数据时表现良好。此外，我们还为意大利语语言标注了一个新数据集，并观察到了类似的性能，而不需要更改模型。

    Jul, 2019

  • 对话系统中面向领域通用口语断续检测的多任务学习

    本文提出一种多任务基于 LSTM 的模型，用于增量检测口吃结构，可以连接到任何组件以进行增量解释，或者在产生当前话语时用于 “清理” 当前话语。我们在 Switchboard 对话行为语料库上训练了该系统，并展示了其在该数据集上的准确性。我们的模型在 SWDA 上比以前的神经网络基于增量的方法表现优异，同时采用较简单的架构。为了测试模型的泛化潜力，我们在没有任何附加训练的情况下，在 bAbI + 数据集上评估了相同的模型。这表明我们的方法具有很好的泛化潜力，并更加详细地阐明了哪些类型的口吃可能适合于领域通用处理。

    Oct, 2018