ACLMay, 2018

零样本序列标注：从句子向标记传递知识

PDF
TL;DR本论文通过构建基于软注意力机制的神经网络架构，分别在四个不同数据集上训练和测试，探究使用注意力或梯度可视化技术能否用于推断二元序列标记问题中的单词级标记，并得出结论：相比梯度 - based 方法，基于注意力的方法能够更准确地预测单词级标记。
attention-basedgradient-basedneural network architecturebinary sequence taggingtoken-level labels
发现论文，激发创造
  • 基于 Transformer 的零样本序列标注句子分类器

    本文研究了如何将句子级 transformer 修改为在没有任何直接监督的情况下有效的序列标记，我们发现一个软性注意模块可以明显优于现有方法，使得能够更好地在标记级别提高性能。

    Mar, 2021

  • 联合学习标记句子和单词

    该研究探讨了不同颗粒度的目标如何用于学习更好的语言表示，并提出了一种架构来联合学习标记句子和标记令牌，最终通过注意力机制将每个级别的预测组合，其中令牌级别的标签也作为显式监督来合成句子级别的表示，实验结果表明，通过在多个级别上联合执行这些任务，模型在句子分类和序列标记方面都取得了实质性的改进。

    Nov, 2018

  • 利用任务感知的神经语言模型增强序列标注

    本研究提出了一种新颖的神经网络框架，将预先训练好的字级知识和字符感知神经语言模型相结合，利用转移学习技术实现不依赖于额外监督信号的序列标注任务，并在基准数据集上通过大量实验验证了其有效性和高效性。

    Sep, 2017

  • 稀疏注意力神经网络联合训练的序列标记和分类

    提出一种利用 LSTM 网络同时学习句子级别分类任务和序列标注任务的模型，通过语义相关性对单词进行加权的稀疏注意力机制，该方法在 ATIS 和 TREC 数据集上表现优于基准模型。

    Sep, 2017

  • 基于半监督多任务学习的序列标注

    本文提出了一种序列标注框架，采用辅助训练目标，并通过学习预测数据集中每个词周围的单词进行语言建模，以此学习通用的语义和语法组合模式，并在不需要额外标注或未标注数据的情况下，实现在多个序列标注任务上取得一致的性能提升。

    Apr, 2017

  • 双向语言模型的半监督序列标注

    本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

    Apr, 2017

  • 统一记号和跨度级别监督的少样本序列标注

    本文提出了一种基于 Consistent Dual Adaptive Prototypical (CDAP) network 的 few-shot sequence labeling 方法，其中包含了 token-level 和 span-level 的网络，通过 consistent loss 让两种网络进行相互学习，并采用一致的贪心算法进行推理，实验结果显示该方法达到了三个基准数据集的最新最优结果。

    Jul, 2023

  • 零样本学习的联合意图和槽位标记

    通过零样本学习的方法，实现了目的性对话系统中的意向分类和槽位标注任务。研究表明，将意向和槽位之间的依赖关系建模，以及通过神经网络将单词和句子转换成嵌入空间，是提高任务准确性的关键因素。

    Nov, 2022

  • 神经语义解析的迁移学习

    本文提出了一种基于多任务框架和序列到序列模型的语义解析方法，旨在解决语料数据不足限制，较少标注数据任务可以通过从大量标注数据任务中传递学习的方式得到提升，实验结果在自己的数据集中获得了 1.0% 到 4.4% 的准确度提升，在 ATIS 语义解析任务中，准确度提升了 2.5% 到 7.0%。

    Jun, 2017

  • 利用注意力机制和信念传播实现一次性文本字段标注用于结构信息提取

    本文提出了基于深度学习和注意力机制的逐字标注一次学习方法，用于结构化信息提取中的文本区域标注任务，消除了样本收集和模型应用成本的限制，并在具有各种文档类型的真实数据集上进行了验证。

    Sep, 2020