EMNLPOct, 2020

仅使用标签名称的文本分类：基于语言模型的自训练方法

PDF
TL;DR本文探讨了只使用标签名训练分类模型的潜力，使用预训练的神经语言模型作为文档分类的表示学习模型，通过自学习的方式实现使用未标注数据实现对话题和情感分类超过 90% 的精确度。
text classificationtraining dataneural language modelsunlabeled dataself-training
发现论文，激发创造
  • 自训练的零样本文本分类

    本文提出一种基于自训练方法的插入式零样本文本分类技术，无需领域专业知识或经验，仅需要类别标签和无标记数据，可显著提高性能，适用于各种文本分类任务。

    Oct, 2022

  • 自动识别可用作少样本文本分类标签的单词

    本文提出一种自动标签到单词映射的方法，通过少量的训练数据，为 few-shot 文本分类任务的处理提供了更高效的方法。

    Oct, 2020

  • 弱监督神经文本分类

    本文提出了一种弱监督文本分类方法，其包括一个利用种子信息生成伪标签文档进行模型预训练的伪文档生成器和一个在真实未标记数据上引导模型改进的自训练模块，具有处理不同类型弱监督任务和易于与深度神经网络模型集成等优点，并在三个真实数据集上进行了广泛的实验，结果表明其大幅优于基准方法而不需要过多的训练数据。

    Sep, 2018

  • 基于预训练语言模型的样本高效主动学习自训练

    使用半监督的方法（self-training）从未标记的数据中获取伪标签来改善运用主动学习进行文本分类的效率，通过进行广泛的实验，提出了一种新的有效的 self-training 策略（HAST），并在四个文本分类基准数据集上进行了评估，仅使用 25% 的数据，超过了之前实验的分类结果，达到了与三个数据集的先前实验相当的分类效果。

    Jun, 2024

  • 面向少标签文本分类的不确定性自训练

    本文提出了一种基于贝叶斯深度学习的半监督学习方法，通过利用大规模未标记数据集，以文本分类为应用场景，仅使用 20-30 个样本能够训练出预训练语言模型的近似精度，相较于基线提高 12% 以上。

    Jun, 2020

  • 自动文本分类中的机器学习

    介绍了文本分类中主流的基于机器学习技术的方法，并就文档表示、分类器构建和评估等三个问题展开讨论。

    Oct, 2001

  • 小标记和大无标记集合下的神经网络抵抗（以及支持）自训练：分类

    我们提出了一种基于神经网络的半监督文本分类器，利用自训练的正负属性。为了解决自训练中的语义漂移问题，我们重新定义了伪标签的角色并构建了一个层次化的信息结构。此外，我们还提出了一种混合度量方法来代替简单的置信度测量，以克服神经网络输出的欠校准问题。我们在五个标准基准测试中评估我们的模型，并表明它明显优于十个多样化的基准模型。同时，我们展示了我们的模型对于语言模型预训练的改进具有附加性。

    Dec, 2023

  • 仅从相关关键词和未标记文档中学习

    本文提出了一个理论上有保证的学习框架，用于无标签文档的分类问题，该框架可以灵活选择模型，并且有效地优化了接收器操作特征曲线下的面积，并在基准数据集上展示了其有效性。

    Oct, 2019

  • LST: 基于词典引导的自训练在小样本文本分类中的应用

    本文介绍了一种使用词汇表来指导伪标记机制的简单的自训练方法，即 LST。通过使用语言丰富的方式，我们不断优化词汇表来预测未见数据的置信度，从而更好地教授伪标签，实现了 5 个基准数据集每个类别 30 个标注样本的 1.0-2.0％的性能提高。

    Feb, 2022

  • 使用类别描述标注的零样本文本分类训练的好处

    本研究提出了一种简单的方法来进一步提高零 - shot 分类准确性，即利用精心策划的微调数据集描述任务的标签，进而在多个文本域中获得强大的预测模型。

    May, 2023