May, 2023

使用提示增强的噪声 - 鲁棒自训练进行弱监督文本分类

PDF
TL;DR本文提出了 PromptClass 方法，它使用预训练语言模型通过零样本提示获取基于上下文文本理解的伪标签，同时使用两种基于 PLM 微调的策略迭代地训练分类器和更新伪标签，实验结果表明，PromptClass 在四个基准数据集上实现了优异的表现，并在情感分类任务上实现了与全监督分类器相似的性能。
发现论文，激发创造
  • RulePrompt: 利用提示性预训练语言模型和自我迭代逻辑规则进行弱监督的文本分类

    为了让预训练语言模型（PLMs）有效理解每个类别，我们首次提出了一种新颖的基于规则的知识形式，用逻辑表达式来描述类别的含义，并开发了一种基于 PLM 的 RulePrompt 方法，包括规则挖掘模块、增强伪标签生成模块和自监督微调模块，通过这一框架，我们的方法在弱监督文本分类任务中验证了其有效性和稳健性，并明显优于最先进的方法，同时产生了可解释的类别规则，证明了在消除易混淆的类别方面的优势。

    Mar, 2024

  • 循环中的语言模型：将提示融入弱监督

    本研究提出使用大型预训练语言模型进行弱监督学习的策略，并使用 Snorkel 系统去噪声标签，得到的训练数据可提高分类器的准确性，相比于零样本方法，错误率平均降低 19.5%。此外，该方法所得分类器的准确度相当或高于手动设置的规则。

    May, 2022

  • 短文本分类的 Prompt-Learning

    本文介绍了基于知识拓展的 Prompt-learning 方法来解决短文本分类中的标签扩展问题，并在三个著名数据集上实验，结果比其他方法均取得了显著提高。

    Feb, 2022

  • 提示类别探讨弱监督语义分割中的提示类别学习的力量

    本文介绍了一种新的 PrOmpt cLass lEarning (POLE) 策略，在弱监督语义分割（WSSS）问题上实现最先进的性能，并强调了语言 - 视觉模型在 WSSS 中的优势和提示学习在该问题中的潜力。

    Jun, 2023

  • 弱监督提示学习下的低资源医学图像分类探索

    通过弱监督的提示学习方法 MedPrompt，自动生成医学提示并利用预训练的视觉 - 语言模型，在低资源情况下提升医学图像识别的性能和准确率。

    Feb, 2024

  • 基于弱监督的口语理解低资源流水线

    本文提出了一种基于提示的弱监督学习方法，用于在未标记的数据上获取嘈杂的标签，并在许多口语理解任务上取得了可靠的表现，优于传统的规则方法和其他竞争性的低资源基准。

    Jun, 2022

  • 预训练视觉语言模型中的伪提示生成，面向多标签医学图像分类

    该研究介绍了一个新的提高医学图像识别性能的方法，利用预训练视觉 - 语言模型和伪提示生成来实现多标签分类和自动诊断，对比实验证明了其在多标签胸部放射图数据集上的卓越性能。

    May, 2024

  • 有效基于提示的关系分类学习

    本文提出了一种新的基于提示的学习方法 LabelPrompt，用于关系分类任务，通过定义附加令牌来表示关系标签，并构建提示模板方法，以及设计一个实体感知模块和注意查询策略来解决模型中的一些挑战，极大地提高了在缺乏标注数据情况下利用提示学习的适应能力，特别是在少样本场景中的表现超过了其他几种方法。

    Feb, 2023

  • 野外文本分类中的标签模块提示学习

    提出了一种面向文本分类的挑战性但实用的任务：在野外进行文本分类，介绍了不同的非稳态训练 / 测试阶段，提出了一种基于标签模块化提示调整文本分类任务的框架（MODULARPROMPT），并在两种最难的情况下展示出比相关基线的性能显著提高的强大泛化能力。

    Nov, 2022

  • Gen-Z: 基于上下文化标签描述的生成式零样本文本分类

    Gen-Z 是一种用于零食文本分类的生成提示框架，通过在标签的自然语言描述上依赖语言模型的可能性来改善任务性能，并在多个标准分类基准上展现了优越性能。

    Nov, 2023