EMNLPSep, 2020

增强式自然语言用于生成式序列标记

PDF
TL;DR该研究提出了一种生成式框架，用于多个序列标记任务和句子级分类。与以往的判别式方法不同，该模型通过共享自然语言输出空间，自然地融合标签语义，并在任务之间共享知识。该框架具有通用性，可在 few-shot、低资源和高资源任务上表现良好，并在命名实体识别、槽位标记和意图分类等基准测试中展示了这些优势。
发现论文，激发创造
  • 基于半监督多任务学习的序列标注

    本文提出了一种序列标注框架，采用辅助训练目标，并通过学习预测数据集中每个词周围的单词进行语言建模，以此学习通用的语义和语法组合模式，并在不需要额外标注或未标注数据的情况下，实现在多个序列标注任务上取得一致的性能提升。

    Apr, 2017

  • 利用任务感知的神经语言模型增强序列标注

    本研究提出了一种新颖的神经网络框架，将预先训练好的字级知识和字符感知神经语言模型相结合，利用转移学习技术实现不依赖于额外监督信号的序列标注任务，并在基准数据集上通过大量实验验证了其有效性和高效性。

    Sep, 2017

  • 零样本学习的联合意图和槽位标记

    通过零样本学习的方法，实现了目的性对话系统中的意向分类和槽位标注任务。研究表明，将意向和槽位之间的依赖关系建模，以及通过神经网络将单词和句子转换成嵌入空间，是提高任务准确性的关键因素。

    Nov, 2022

  • 自适应自我训练用于小样本神经序列标注

    该研究提出了通过自训练和元学习技术解决多个自然语言处理任务中低标注数据带来的挑战的方法，并在六个基准数据集上实验证明了其在标注数据较少的情况下具有良好的效果。

    Oct, 2020

  • 利用质量加权的弱监督自动标注共同提高语言理解和生成能力

    本研究提出了一种半监督框架，利用 GPT-2 模型自动构建了大规模数据，并根据估计的标签质量调整模型参数更新，实现 NLG 和 NLU 模型的联合训练，证明在数据稀缺场景下，该弱监督培训范式是一种有效的方法，在 E2E 和天气基准测试上优于基准系统。

    Feb, 2021

  • 双向语言模型的半监督序列标注

    本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

    Apr, 2017

  • Few Shot 命名实体识别的标签语义

    本文提出了一种神经架构，利用 BERT 编码器，匹配文档的 tokens 和标签语义信号的表示，从而在命名实体识别的少样本情况下，实现了先进的结果。此外，该模型在低资源环境中表现出很好的效果。

    Mar, 2022

  • 半监督自然语言理解的双向学习

    通过引入一个新的 NLU 双重任务 —— 语义到句子生成 (SSG)，并提出一种新的半监督 NLU 框架，其中包括对应的双重模型，以解决之前半监督学习面临的标注样本稀缺问题。该框架通过主任务与对偶任务之间的闭环，使得 NLU 模型可以充分利用数据（标记和无标记），并在每次迭代中逐步提高 NLU 和 SSG 模型的性能，在 ATIS 和 SNIPS 两个公共数据集上的实验结果表明，该方法明显优于基线，而且在监督设置下也可以达到最先进水平。

    Apr, 2020

  • 基于 BERT 的联合多语言意图检测与槽位填充模型

    本文介绍了 Bert-Joint，一种利用多语言联合文本分类和序列标注框架的模型，旨在利用 “无递归” 模型成功应用于口语自然语言理解的任务上，并通过实验验证了该模型在英语基准数据集上表现出了强大的性能，处理少量的标注数据时表现良好。此外，我们还为意大利语语言标注了一个新数据集，并观察到了类似的性能，而不需要更改模型。

    Jul, 2019

  • 一种深度集成模型，带有槽对齐的序列到序列的自然语言生成

    通过使用基于神经网络的语言生成器，采用多种数据表示和提升方法，我们在餐饮、电视、电脑三个领域展开了实验，证明我们的方法比同类模型在不同评估方法下表现更优秀。

    May, 2018