Oct, 2020

神经文本分类的去噪多源弱监督训练

PDF
TL;DR研究了在没有任何标注数据的情况下，通过多种易于提供的规则作为多种弱监督源，学习神经文本分类器的问题，提出了一种标签降噪器，它使用条件软注意机制估计源的可靠性，然后通过聚合注释的弱标签降低标签噪声，然后使用这些清理过的伪标签来训练神经分类器。在情感，主题和关系分类的五个基准测试上进行了评估，结果表明，该模型始终优于最先进的弱监督和半监督方法，并且即使没有任何标注数据，也可以达到与全监督方法相当的性能水平。
neural text classifiersweak supervision sourceslabel denoiserconditional soft attentionsemi-supervised methods
发现论文，激发创造
  • 弱监督神经文本分类

    本文提出了一种弱监督文本分类方法，其包括一个利用种子信息生成伪标签文档进行模型预训练的伪文档生成器和一个在真实未标记数据上引导模型改进的自训练模块，具有处理不同类型弱监督任务和易于与深度神经网络模型集成等优点，并在三个真实数据集上进行了广泛的实验，结果表明其大幅优于基准方法而不需要过多的训练数据。

    Sep, 2018

  • 控制性弱监督训练神经网络：避免重复导师的错误

    该研究提出了一种半监督学习方法，利用一个 “目标网络” 和一个 “置信网络” 进行多任务训练，在大量弱注释未标注数据上优化目标网络，同时用置信网络的分数来加权目标网络的梯度更新，以避免噪声标签对目标网络模型的质量造成损害，并在评估中证明其相对基线的性能得到提高，同时从弱标签中提高了学习速度。

    Nov, 2017

  • 弱监督自训练

    本文提出一种基于弱监督、自训练、规则注意力网络和半监督学习的框架（ASTRA），利用所有可用数据来进行深度学习任务的训练，证明其在文本分类上有显著优势。

    Apr, 2021

  • 端到端弱监督

    通过聚合多个弱监督数据源，本研究提出一种直接使用神经网络重参数化概率先验标签，从而直接学习下游模型的端到端方法，取得了端模型性能和弱监督数据依赖性方面的改进。

    Jul, 2021

  • 面向信息检索的基于内容的弱监督再排序

    论文研究了神经排序中标记相关性判定数量巨大的问题，并提出使用弱监督来源训练排名器，然后使用过滤技术排除域外样本，实现了有效的性能改进。

    Jul, 2017

  • 从严重标签噪声中提炼有效的监督

    该论文提出了一种全新的训练深度神经网络的方法，在标签噪音的情况下拥有高稳健性，通过利用小的可信集合来估计样本权重和伪标签以重复使用它们进行监督训练。该方法在各种类型的标签噪声和大规模真实世界标签噪声数据集上取得了最新的最优表现。

    Oct, 2019

  • 使用多任务弱监督训练复杂模型

    文章提出了一种基于多任务弱监督的矩阵补全方法，通过建立弱监督任务之间的相关性解决弱监督准确性低的问题，从而提高模型训练的效果。实验结果表明，与传统的有监督方法相比，该方法能平均提高 20.2% 的准确率。

    Oct, 2018

  • 多个噪声部分标注者中学习

    本文提出了一种基于概率生成模型的能够估计多个噪声偏差的部分标注工具并扩展了程序化弱监督的基础，通过对 3 个文本分类和 6 个对象分类任务的评估，证明了部分标注的效果可达到 8.6% 的平均准确率提高，进而探讨了部分标注在零样本对象分类任务中的应用以及与最新零样本学习方法相比的效果。

    Jun, 2021

  • 无监督舆情摘要生成与加噪声去噪声技术

    本文介绍了一种基于🈚️ground truth summaries 的情况下，利用文档创建合成数据集、引入多种噪声生成函数以及学习生成原始评论的摘要模型的方法，该方法比抽取式和生成式基线模型都有更好的效果。

    Apr, 2020

  • 弱监督学习的约束标注

    本文提出了一种基于约束空间的弱监督学习方法，将不同的弱监督信号结合起来进行训练，在文本分类和图像分类任务中优于其他方法。

    Sep, 2020