Jul, 2023

统一记号和跨度级别监督的少样本序列标注

PDF
TL;DR本文提出了一种基于 Consistent Dual Adaptive Prototypical (CDAP) network 的 few-shot sequence labeling 方法，其中包含了 token-level 和 span-level 的网络，通过 consistent loss 让两种网络进行相互学习，并采用一致的贪心算法进行推理，实验结果显示该方法达到了三个基准数据集的最新最优结果。
few-shot sequence labelingmetric learningcdap networkconsistent lossgreedy inference algorithm
发现论文，激发创造
  • 学习上下文聚合多源监督用于序列标记

    本文介绍了一种名为 Consensus Network 的框架，该框架可以在多个源的注释上进行训练，学习每个源的个体表征，并通过上下文注意力动态聚合源特定的知识，并最终导致反映多个源之间达成一致（共识）的模型，实验结果表明此框架在多源学习方面表现优异

    Oct, 2019

  • 零样本序列标注：从句子向标记传递知识

    本论文通过构建基于软注意力机制的神经网络架构，分别在四个不同数据集上训练和测试，探究使用注意力或梯度可视化技术能否用于推断二元序列标记问题中的单词级标记，并得出结论：相比梯度 - based 方法，基于注意力的方法能够更准确地预测单词级标记。

    May, 2018

  • 利用折叠依存转移和标签增强的任务自适应投影网络进行少样本槽位标记

    本文主要介绍了一种通过引入条件随机场 (CRF) 中的依赖传递机制，通过转移抽象标签依赖模式作为转移分数来解决少样本（few-shot）场景下的标签分配问题，并提出了 L-TapNet 模型，它基于含义表示标签名称语义来计算发射分数，并在实验中使用 One-shot setting 方法，相对强的基线方法提高了 14.64 个 F1 分数。

    Jun, 2020

  • 语言引导的少样本语义分割

    通过语言信息进行语言指导的少样本语义分割，使用视觉 - 语言预训练模型和遮罩优化来生成高质量伪语义遮罩，引入分布式原型监督方法和互补相关匹配模块来指导模型挖掘支持和查询图像的精确语义关系。在两个基准数据集上的实验表明，我们的方法为语言指导的少样本语义分割建立了新的基准，并达到了与最近的视觉指导方法竞争的结果。

    Nov, 2023

  • 联合学习标记句子和单词

    该研究探讨了不同颗粒度的目标如何用于学习更好的语言表示，并提出了一种架构来联合学习标记句子和标记令牌，最终通过注意力机制将每个级别的预测组合，其中令牌级别的标签也作为显式监督来合成句子级别的表示，实验结果表明，通过在多个级别上联合执行这些任务，模型在句子分类和序列标记方面都取得了实质性的改进。

    Nov, 2018

  • 基于半监督多任务学习的序列标注

    本文提出了一种序列标注框架，采用辅助训练目标，并通过学习预测数据集中每个词周围的单词进行语言建模，以此学习通用的语义和语法组合模式，并在不需要额外标注或未标注数据的情况下，实现在多个序列标注任务上取得一致的性能提升。

    Apr, 2017

  • 增强式自然语言用于生成式序列标记

    该研究提出了一种生成式框架，用于多个序列标记任务和句子级分类。与以往的判别式方法不同，该模型通过共享自然语言输出空间，自然地融合标签语义，并在任务之间共享知识。该框架具有通用性，可在 few-shot、低资源和高资源任务上表现良好，并在命名实体识别、槽位标记和意图分类等基准测试中展示了这些优势。

    Sep, 2020

  • 来自图像标签文本的迭代式少样本语义分割

    本文提出了一种利用视觉 - 语言模型 CLIP 生成粗略掩模并迭代互相调整支持和查询图片的掩模预测的框架，实验结果表明该方法不仅在 PASCAL-5i 和 COCO-20i 数据集上优于最先进的弱监督方法，还能够取得与最近的有监督方法相当甚至更好的结果，并且具有出色的野外图像和非常规类别的泛化能力。

    Mar, 2023

  • 基于跨度序列标注的低成本众包：工人选择与数据增强

    本研究提出了一种新的工人选择算法，利用组合多臂老虎机方法和数据增强方法来提高序列标注任务中的注释质量和降低成本，测试结果表明该算法的效率得到了显著提高。

    May, 2023

  • 利用任务感知的神经语言模型增强序列标注

    本研究提出了一种新颖的神经网络框架，将预先训练好的字级知识和字符感知神经语言模型相结合，利用转移学习技术实现不依赖于额外监督信号的序列标注任务，并在基准数据集上通过大量实验验证了其有效性和高效性。

    Sep, 2017